| Technologiefelder | Augmented Reality

Augmented Reality

Definition und Abgrenzung

Beim Realitäts-Virtualitäts-Kontinuum [1] sind die erweiterte Realität (Augmented Reality, AR) und erweiterte Virtualität (Augmented Virtuality) Teil der sogenannten gemischten Realität (Mixed Reality). Im Gegensatz zu Virtual-Reality-Systemen (VR), die eine vollständige virtuelle Umgebung erzeugen, wird in AR-Systemen die reale Umgebung des Nutzers durch virtuell überlagerte Elemente (Textinformationen, Bilder, Videos) angereichert. Nach Azuma [2] sollten AR-Systeme (1) reale und virtuelle Objekte in einer realen Umgebung kombinieren, (2) interaktiv und in Echtzeit laufen sowie (3) reale und virtuelle Objekte miteinander registrieren (ausrichten).

AR nutzt maschinelles Sehen (Computer Vision, CV) in Verbindung mit Sensoren, die dabei helfen, relevante Inhalte korrekt anzuzeigen. Dazu werden Sensordaten gesammelt, kombiniert und mit verschiedensten Algorithmen verarbeitet.

Um ein virtuelles Objekt in die Szene einfügen zu können, muss die Technologie in der Lage sein, die Entfernung und den Winkel der Objekte im Raum zu ermitteln. Dabei werden die 3-D-Messungen in einer Karte der Umgebung akkumuliert. Hierzu werden die Kameraperspektive sowie in fortschrittlicheren AR-Systemen semantische Objektinformationen berechnet. Um dem Benutzer ein immersives und glaubwürdiges AR-Erlebnis zu bieten, werden die Daten unter Verwendung von Maschinellem Lernen und Künstlicher Intelligenz verarbeitet, um bekannte Objekte, Oberflächen und Geometrien (z. B. Wände oder Boden) zu erkennen.

Schließlich wird das extrahierte 3-D-Wissen der CV-Algorithmen verwendet, um den gewünschten virtuellen Inhalt mittels Computergrafik anzuzeigen. Dafür wird ein Anzeigegerät benötigt. Durch den Einsatz von Projektoren oder Datenbrillen (sogenannten Head-Mounted Displays, HMD) sind Holografie und Telepräsenz möglich, d. h. die virtuelle Projektion von Objekten oder Personen in die physische Umgebung. Bekannte Beispiele für HMDs sind Microsofts HoloLens oder die Magic Leap. Die meisten AR-Plattformen verwenden jedoch einfache Kameras und gängige Bildschirme, die digitalen Content in einem Echtzeitvideo einfügen. Somit ist AR heute bereits fester Bestandteil von iPhones und Android-Smartphones.

Geschichte

Zu Beginn wurde zwischen Augmented Reality und Virtual Reality nicht unterschieden und die ersten Konzepte wurden bereits vor 1960 idealisiert. Die Technologie selbst fand jedoch im Jahr 1968 ihren Anfang, als Ivan Sutherland das erste HMD-System vorstellte. Er nannte es The Sword of Damocles. Der Begriff Augmented Reality tauchte dann im Jahr 1990 auf, als Boeing-Forscher Tim Caudell es erstmals erwähnte; zwei Jahre später entwickelte Louis Rosenburg Virtual Fixtures, das erste voll funktionale AR-System.

Seitdem hat die AR-Forschung einen langen Weg zurückgelegt, und die Liste der Anwendungsfälle für AR wächst stetig. Von Sport (Superbowl/Fußball), NASA-Simulationen zu immersiven Marketingerlebnissen, AR ist im Massenmarkt angekommen und findet heute in den verschiedensten Bereichen und Märkten, oft unbemerkt, Nutzen. Spätestens seit Google Glasses (2014), Microsoft HoloLens (2016) und Pokémon Go (2016) ist AR vielen ein Begriff.

Anwendung und Beispiele

Einige AR-Plattformen/Systeme bieten ihre Technologie als Gesamtpaket inklusive Hardware an (z. B. HoloLens), allerdings funktionen viele Technologien auch auf einem handelsüblichen Smartphone. Bekannte Software für mobile Geräte sind:

AR findet mittlerweile in vielfältiger Weise Anwendung und kommt in vielen Bereichen des Alltags zum Einsatz. Hierzu zählen:

  • Unterhaltung, z. B. Spiele, Mode & Lifestyle (wie virtuelle Brillen oder Make-up)
  • Visualisierung, Simulation, z. B. Platzieren virtueller Möbel im eigenen Zuhause
  • Fernwartung, Training und Weiterbildung, z. B. Erweiterung traditioneller Lernplattformen durch AR-Anwendung
  • Medizin und Gesundheit, z. B. chirurgische Führung
  • Fitness und Rehabilitation, z.B. Assistenzsysteme
  • Marketing, z. B. Einbettung von Links in Printmedien, oder Live-Interaktionen
  • Architektur, z. B. Darstellung und Visualisierung
  • Virtual Travel und Navigation, z. B. Projektion von Navigationshinweisen im Auto
  • Zusammenarbeit verteilter Teams, z. B. durch Telepräsenz bei Videokonferenzen
  • uvm.

Kritik und Probleme​​

Sicherheit: Einerseits gilt ein Training in AR-Umgebung als vielversprechende Methode zum Üben verschiedenster Aktivitäten mit realen Objekten in sicherer Umgebung, indem potenzielle Risiken in realen Situationen beseitigt werden. Andererseits birgt die Nutzung von AR-Anwendungen im Alltag auch erhebliche Risiken, wie z. B. eine potenzielle Ablenkung im Straßenverkehr [3].

Privatsphärebedenken: In Verbindung mit Umgebungsaufzeichnungen und -analysen, siehe hierzu DatenschutzCyberkriminalität.

Begrifflichkeit: In der Literatur findet sich eine inkonsistente Handhabung der Definition von Mixed, Augmented und Virtual Reality. Die häufig sogar synonyme Verwendung der Begriffe „virtuelle“ und „erweiterte“ Realität führt zur Verwirrung.

Forschung

Im Rahmen des Doktorandenprojekts „‚Mixed Reality‘ als ein neuer rehabilitativer Ansatz bei Störungen von Alltagshandlungen nach chronisch neurologischer Erkrankung“ wird untersucht, wie Patienten mit Handlungsstörungen, z. B. nach Schlaganfall oder Demenzerkrankung, mithilfe von AR-Technologie in ihren Alltagshandlungen unterstützt werden können. Hierzu werden verschiedene holografische Stimuli zur Ermittlung der effektivsten Hinweisreize untersucht sowie die Wahrnehmung dieser extern erzeugten Reize auf das sensomotorische System erforscht. Weitere Informationen zum Projekt finden sich in folgenden Veröffentlichungen:

  • Rohrbach, N. et al. (2019). An augmented reality approach for ADL support in Alzheimer’s disease: a crossover trial. Journal of neuroengineering and rehabilitation, 16(1), 1–11.
  • Rohrbach, N. et al. (2021). Fooling the size–weight illusion – Using augmented reality to eliminate the effect of size on perceptions of heaviness and sensorimotor prediction. Virtual Reality, 1–10.

Das Doktorandenprojekt „Szenenverständnis in Echtzeit auf Mobilen Geräten“ untersucht Algorithmen, die visuelle Umgebungsinformationen effizient verarbeiten können. Der Fokus liegt auf der Entwicklung von Methoden zum visuellen Verständnis von statischen und dynamischen 3-D-Szenen unter Verwendung mobiler Sensoren. Dazu zählt die Extraktion von Objektinformationen zum Beispiel der Pose, der Objektkategorien sowie deren räumlicher und semantischer Beziehungen zueinander. Weitere Informationen zum Projekt finden sich in folgenden Veröffentlichungen:

  • J. Wald, H. Dhamo, N. Navab, F. Tombari, “Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions”, IEEE Computer Vision and Pattern Recognition 2020.
  • J. Wald, A. Avetisyan, N. Navab, F. Tombari, M. Niessner, “RIO: 3D Object Instance Re-Localization in Changing Indoor Environments”, International Conference on Computer Vision 2019.
  • J. Wald, K. Tateno, J. Sturm, N. Navab, F. Tombari, “Real-Time Fully Incremental Scene Understanding on Mobile Platforms”, IEEE Robotics and Automation Letters, October 2018.

Quellen

[1] Milgram, P., & Kishino, F. (1994). A taxonomy of mixed reality visual displays. IEICE TRANSACTIONS on Information and Systems, 77(12), 1321–1329.

[2] Azuma, R. T. (1997). A survey of augmented reality. Presence: Teleoperators & Virtual Environments, 6(4), 355–385.

[3] Faccio, M., & McConnell, J. J. (2020). Death by Pokémon GO: The economic and human cost of using apps while driving. Journal of Risk and Insurance, 87(3), 815–849.