Was ist Mixed Reality?

Während es einen allgemeinen Konsens darüber gibt, was Virtual Reality ist, wird es beim Begriff Augmented Reality schon etwas unschärfer, und beim Begriff Mixed Reality spalten sich die Geister bzw. kommt es zum Begriffschaos.

Bereits vor einigen Jahren habe ich für mich den Begriff Mixed Reality basierend auf Beobachtungen anders definiert, als das, was ich bis dahin zu diesem Begriff gefunden hatte. In der mittlerweile vierten Iteration (denn man lernt schließlich nie aus, nur dazu) sieht mein Extended Reality-Spektrum inzwischen so aus:

Für mich ist also Mixed Reality weder der Oberbegriff für Augmented Reality (Angereicherte Realität, kurz AR) und Virtual Reality (Virtuelle Realität, kurz VR), noch ist es quasi gleichzusetzen mit dem Begriff AR. Für mich gehört deshalb auch weder der MergeCube noch die HoloLens in die Sparte AR. Vielmehr fiel mir auf, dass es einen großen Unterschied gibt zwischen reinen, vor allem tabletbasierten/mobilen AR-Anwendungen, die der Veranschaulichung dienen und bei denen die Interaktion mit den virtuellen Inhalten sehr begrenzt ist, und ähnlichen Anwendungen, die jedoch eine wie auch immer geartete haptische Komponente aufweisen und damit Elemente in der physischen Realität nicht nur visuell anreichern, sondern sie funktional um eine Dimension erweitern. So interagiert man beim MergeCube direkt mit dem Würfel (auch wenn man teilweise noch auf dem Display eines mobilen Endgeräts Aktionen auslösen muss) und bei der HoloLens verwendet man Gesten in der physischen Realität, um die Hologramme zu manipulieren.

Nun habe ich vor einigen Tagen einen von Paul Milgram und Fumio Kishino veröffentlichten Artikel aus dem Jahre 1994 entdeckt, dessen Titel „A Taxonomy of Mixed Reality Visual Displays“ lautet. D.h. es ging um die Technologien der damaligen Zeit, die klassifiziert werden sollten. Mir liegt es fern, die Ansicht der Autoren auch nur im Geringsten zu diskreditieren, jedoch vertrete ich seit jeher die Meinung, dass nichts in Stein gemeißelt ist, weil sich Artikel in der Regel – vor allem wenn es um Technologie geht – auf die Zeit beziehen, zu der sie veröffentlicht wurden. Seither hat sich die Welt jedoch weitergedreht und ich schlage deshalb vor, den Artikel vor dem Hintergrund des aktuellen Stands der Technik zu betrachten, um herauszufinden, ob mein eigenes Verständnis von Mixed Reality dadurch verändert oder bestärkt wird, oder ob ich es revidieren sollte.

Dem Artikel aus 1994 liegt das Virtuality Continuum zugrunde und es betrachtet alles, was an die physische Realität angrenzt bis hin zur komplett virtuellen Umgebung als Mixed Reality. Zwischen AR und VR liegt hier noch AV, Augmented Virtuality. Als Beispiele nennen sie unter anderem Brillen, die einen Durchsichtmodus haben. Sie sehen AR, einen Begriff, der 1994 offenbar langsam geläufig wurde, und MR als verwandt an, definieren jedoch den Begriff Hybrid Reality wenn sie von Szenarien sprechen, in denen es zu einer Kombination von teilweise immersiven Umgebungen und realen Objekten (einschließlich den Händen) kommt (wobei es auch Artikel gibt, die dies als Augmented Virtuality bezeichnen). Milgram und Kishino stellen außerdem fest, dass je nachdem, welchen Aspekt man in den Vordergrund rückt, die scheinbar klar abgegrenzten Konzepte ineinanderfließen. Im Folgenden konzentrieren sie sich auf den Grad der Wahrnehmung der Umwelt durch den Computer, wie naturgetreu Objekte dargestellt werden und wie präsent man sich fühlt.

Schaut man sich die heute verfügbare Technologie an, so lassen sich die 1994 gemachten Beobachtungen als Grundlage dafür verwenden, den Begriff Mixed Reality zu reflektieren. Es ist unumstritten, dass das Virtualitätskontinuum nach wie vor relevant ist. Der Begriff Augmented Virtuality hat sich allerdings bisher nicht durchgesetzt, auch wenn er in den Darstellungen des Kontinuums meist eine Rolle spielt. Inzwischen gibt es jedoch definitiv zwei Arten von Augmented Reality, die unterschiedliche Interaktionmöglichkeiten mit sich bringen und auch Objekte der physischen Realität mit einschließen können. Bei dieser zweiten AR-Variante wird die physische Realität greifbar mit virtuellen Elementen vermischt, wodurch es zu einer grundlegend anderen, (haptischen) Interaktion kommt, die sowohl die Immersionserfahrung als auch die Interaktionserfahrung ausgeprägter macht als dies bei reiner AR der Fall ist. Sie befinden sich jedoch noch lange nicht auf der Ebene von VR, wo es durch Immersion und Interaktion je nach Gestaltung der virtuellen Umgebung und der Interaktionsmöglichkeiten zu einem mehr oder weniger ausgeprägten Gefühl der Präsenz und der Handlungsfähigkeit kommt. Ich schlage deshalb vor, diesen schleichenden Übergang von AR zu VR, bei der es zu einer physisch spürbaren Vermischung verschiedener Realitäten kommt, als Mixed Reality zu bezeichnen und für das komplette Spektrum, das alle drei Bereiche abdeckt, den Begriff der erweiterten Realität (engl.: extended reality, kurz XR) zu wählen. Somit grenzt sich der Begriff Mixed Reality einerseits durch diese haptische Komponente und der funktionalen Erweiterung der physischen Realität von Augmented Reality ab und schließt Objekte wie den MergeCube und auch den Vive Tracker ebenso mit ein wie die HoloLens ( > Windows Mixed Reality), bei der die Interaktion zwar in der Luft, aber dennoch in der physischen Realität stattfindet.

Was hier noch nicht bedacht ist, sind Anwendungen, in denen Handtracking und der Durchsichtmodus eine Rolle spielen, sowie Anwendungen, bei denen sich die virtuellen Elemente an die physische Realität anpassen. Ersteres gibt es bereits für die Meta Quest in Form von Apps wie Cubism. Lange Zeit war die Anwendung so gestaltet, dass man sich in einer vollkommen immersiven virtuellen Umgebung befand, mit der man per Handtracking interagieren konnte. Die Hände wurden dabei von den externen Kameras des Headsets erfasstund virtuell in der Brille abgebildet. Ich bin mir momentan noch nicht ganz sicher, ob das bereits dazu ausreichen würde, von Mixed Reality zu sprechen, da die physische Umwelt hier noch gänzlich ausgeblendet war, ich tendiere jedoch nach wie vor dazu, dies als VR zu bezeichnen, trotz Handtracking. Seit einiger Zeit jedoch gibt es die Möglichkeit, den Durchsichtmodus der Quest zu nutzen, um – wenn auch nur sehr flimmernd und in schwarz-weiß dargestellt – die physische Umwelt zu sehen, während man mit Handtracking die Puzzles löst. Das ist für mich ohne zu zögern ein weiteres gutes Beispiel für Mixed Reality, auch wenn die Qualität der Darstellung der physischen Umwelt zu wünschen übrig lässt. Was noch gar nicht berücksichtigt ist, womit ich jedoch in nicht allzu ferner Zukunft rechne, sind Anwendungen, bei denen ein (besserer) Durchsichtmodus in Farbe verwendet wird und beispielsweise virtuelle Elemente oder Wesen sich dank der Kameras der physischen Welt „bewusst“ sind und sie in ihre Bewegungen und Handlungen mit einbeziehen, also z.B. auf einer Couch liegen oder Treppen gehen können.

Aus diesen Überlegungen resultiert schließlich auch die Bezeichnung der HoloLens nicht als AR-Brille, sondern als MR-Brille und es liegt nahe, dass auch die Cambria, das nächste Meta-Headset, das noch dieses Jahr auf den Markt kommen soll, nicht nur eine VR-Brille, sondern auch eine MR-Brille sein wird. Eine AR-Brille wird sie jedoch meines Erachtens bereits vom vermuteten Formfaktor aus nicht. Eine AR-Brille oder AR-Kontaktlinsen sind für mich alltagstaugliche Geräte, die ggf. auch als Sehhilfen verwendet werden können und somit auch im Bereich des Ausgleichs körperlicher Behinderungen zum Einsatz kommen werden. Dies bestätigt auch meine Erwartung, dass AR vor allem im Alltag zum Einsatz kommen wird.