Augmented & Virtual Reality PDF

Augmented & Virtual Reality Informatik 07.11.2024 Programm 7.11.: Virtual Reality 12:20-13:30: Input 13:45-14:45: Ausprobieren 14.11.: Augmented Reality 12:20-13:30: Input 13:45-14:00: Test 14:00-14:45: Ausprobieren 07.11.202...

Augmented & Virtual Reality Informatik 07.11.2024 Programm 7.11.: Virtual Reality 12:20-13:30: Input 13:45-14:45: Ausprobieren 14.11.: Augmented Reality 12:20-13:30: Input 13:45-14:00: Test 14:00-14:45: Ausprobieren 07.11.2024  Reality-Virtuality Continuum XR Mixed Reality Real Augmented Augmented Virtual Environment Reality Virtuality Environment Milgram, P., Kishino, F., 1994. A taxonomy of mixed reality visual displays. IEICE TRANSACTIONS on Information and Systems 77, 1321–1329. 07.11.2024 Echtes durch Digitales ersetzen VIRTUAL REALITY Was ist Virtual Reality? 07.11.2024 19. Jahrhundert: Stereobilder „Kaiserpanorama“ around 1880 07.11.2024 Holmes Stereoscope starting 1861 VR im 20. Jahrhundert: Die 30er Link Trainer, 1929 (Wikipedia) Tom Scott on the Link Trainer 07.11.2024 VR im 20. Jahrhundert: Die 60er Morton Heilig, 1962 07.11.2024 VR im 20. Jahrhundert: Die 60er 07.11.2024 Ivan Sutherland, 1965, https://youtu.be/NtwZXGprxag VR im 20. Jahrhundert: Die Vision The ultimate display would, of course, be a room within which the computer can control the existence of matter. A chair displayed in such a room would be good enough to sit in. Handcuffs displayed in such a room would be confining, and a bullet displayed in such a room would be fatal. With appropriate programming such a display could literally be the Wonderland into which Alice walked. Ivan Sutherland, The Ultimate Display, 1965 07.11.2024  VR im 20. Jahrhundert: Die 80er Jaron Lanier, 1984 NASA Virtual Interface Environment Workstation (VIEW) 07.11.2024 Star Trek Holodeck, 1987  Virtual Reality Tomorrows World BBC 1990 VR im 20. Jahrhundert: Die 90er CAVE 07.11.2024 BUILD-IT, ETH  VR im 20. Jahrhundert: Die 90er – Jetzt für Konsumenten VFX1 Headset Virtuality Nintendo Virtual Boy, 1995 07.11.2024 VR im 21. Jahrhundert: Die 10er Immersive Viewer, Institute of Creative Technologies (USC), 2012 Oculus Rift DK1, 2013 07.11.2024 Die Oculus Story 2012: - Palmer Luckey ist Praktikant am Institute of Creative Technologies - Kickstarter Kampagne startet mit einem Ziel von $250'000 - Kampagne sammelt $250'000 in 4 Stunden und $2.4 Millionen total 2013: - Oculus DK1 wird ausgeliefert - $75 Millionen Venture Funding 2014: - Facebook kauft Oculus für $2.4 Milliarden in Cash und Aktien - Oculus DK2 wird ausgeliefert 2016: - Oculus CV 1 wird ausgeliefert - Akquise von verschiedenen Firmen … 2021: - Facebook plant 10000 neue Stellen im XR Bereich - Facebook Reality Labs gibt geschätzte $10 Mrd. für XR aus 07.11.2024 VR Hardware Timeline 07.11.2024 https://vr-compare.com/ Nur ein neuer Displaytyp? 07.11.2024 Die 3 Nutzen von VR Räumlicher Eindruck Virtual Reality Präsenz Interaktion 07.11.2024  Räum- licher Eindruck Virtual Reality Räumlicher Eindruck Präsenz Interak- tion Benutzer ist in der virtuellen Welt, statt sie nur zu betrachten − Objekte sind "wie in echt" − Besser verständlich für nicht-Experten − Intuitive Navigation − Verständnis von Raum, Grösse und Layout Ikea 07.11.2024  Räum- licher Eindruck Virtual Reality Interaktion Präsenz Interak- tion Benutzer ist in der virtuellen Welt statt sie nur zu betrachten Interaktion wie am Bildschirm ist nicht möglich (oder sinnvoll) 07.11.2024  Räum- licher Eindruck Virtual Reality Interaktion Präsenz Interak- tion Benutzer ist in der virtuellen Welt statt sie nur zu betrachten Interaktion wie am Bildschirm ist nicht möglich (oder sinnvoll) Interaktion kann/sollte der Realität nachempfunden sein 07.11.2024 Volkswagen Flaim Systems  Räum- licher Eindruck Virtual Reality Präsenz Präsenz Interak- tion [Presence] is difficult to describe in words—it is something that can only be understood when experienced. Attempting to describe presence is like attempting to describe concepts such as consciousness or the feeling of love, and can be just as controversial. -The VR Book, Jason Jerald, Ph.D. 07.11.2024  Räum- licher Eindruck Virtual Reality Präsenz Interak- tion Immersion = Technische Qualität des VR Systems − Extensiveness: Zahl der angesprochenen Sinne − Surroundness: Wie gut der Nutzer umschlossen ist − Inclusiveness: Wie gut die echte Welt abgeblockt wird − Matching: Wie gut die angesprochenen Sinne übereinstimmen − Vividness: Qualität der Simulation Präsenz = Das Gefühl in der virtuellen Umgebung präsent zu sein − Subjektiv − Nutzer vergisst die echte Welt und die benutzte Technologie − Nutzer akzeptiert virtuelle Umgebung als echt 07.11.2024 Immersive Virtual Environments (IVE)  Räum- licher Eindruck Virtual Reality Präsenz Präsenz Interak- tion 07.11.2024 The Plank VR, Mixed Reality and Visualisation, University of Applied Sciences Düsseldorf  Räum- licher Eindruck Virtual Reality Rubber Hand Illusion Präsenz Interak- tion 07.11.2024 Immersion: Extensiveness Visuell Geschmack Audio Norimaki Synthesizer Geruch Vestibulär Galvanic Vestibular Stimulation Scentient Temperatur Gewicht Haptik 07.11.2024 Phantom Omni Tegway ThermoReal Ultraleap Smartphone Viewers Cardboard − Über 10 Million Cardboards von Google abgegeben (März 2017) − 160 Million Downloads von Cardboard Apps 5 Million Gear VR Headsets verkauft 260000 Daydream Displays verkauft Wird oft als günstiges Giveaway an Events benutzt Für ernsthafte Anwendungen ungeeignet Qualitativ höherwertige Versionen verfügbar 07.11.2024 PC VR Bessere Performance als Smartphone Valve Index Braucht aber (guten) PC oder Laptop Teurere Geräte Spezialisierte Geräte für verschiedene Anwendungen − High Resolution StarVR − Grosses Sichtfeld − Eye Tracking − Hand Tracking 07.11.2024 HTC Vive Pro All-in-one Displays Integriertes Gerät (Snapdragon XR1 oder XR2) Oculus Quest 2 Üblicherweise: − Android basiert − Kamera-basiertes 6DoF Tracking − Zwei Controller − Handtracking − Optional: Eye- & Facetracking HTC Vive Focus 3 07.11.2024 Pico Neo 3 CAVE (Cave Automatic Virtual Environment) 3-6 seitiges Display (Projektor oder Bildschirm) Eine oder mehrere Personen mit 3D Interaktion mit "Wand"-Gerät 05.11.2024 CAVEs in 2024 Nicht mobil und teuer Neue Caves: 2D "CAVEs" mit normalen Projektoren LED Wände Hohe Framerates erlauben mehrere Teilnehmer Reality Deck, Stony Brook University 05.11.2024 http://www.visbox.com/ http://labs.cs.sunysb.edu/labs/vislab/reality-deck-home/ ANWENDUNGEN Wie kann XR eingesetzt werden? XR Apps können verschiedene Funktionen einnehmen: Tool mit dem andere Produkte erstellt werden Produkt, das verkauft wird Ort an dem etwas stattfindet 07.11.2024 XR in der Anwendung ~70% des Umsatzes ist auf der Enterprise Seite (30% Consumer) Umsatz für 2024: ca. $25Mrd AWE EU 2024 Enterprise XR Viele Firmen setzen XR produktiv ein! Entwicklung von XR Teams in Fachabteilungen zu zentralisierten XR Teams/Product Owners Viele Software "of the shelf" oder "customized" verfügbar 07.11.2024 Training von Abläufen Abläufe und Handgriffe können "wie in echt" geübt werden Sicher Repetierbar Dokumentierbar Erstellung von (zufälligen) Varianten Skalierbar für mehrere Benutzer Nicht eingeschränkt durch Zugang 07.11.2024 http://lsro.epfl.ch/simulators  AtlasVR Bitumen Trainer (2023) Training von Abläufen Montage Siemens 07.11.2024 Volkswagen VR Assembly Training (2020) Training von Abläufen Einsatzkräfte und Notfallverhalten Emergency training using VR (Fire Drill) Flaim Trainer 07.11.2024 Training von Abläufen – "Bedienung" AVIAR Airport Ground Training 07.11.2024 Training Surgery Training Flight Training Assembly Training And many more http://lsro.epfl.ch/simulators Ubisim VR 07.11.2024 https://youtu.be/NsHM1g6_Ehs?t=51 (not available anymore) Kollaboration zwischen mehreren verteilten Nutzern Über Mediengrenzen hinweg Mehr non-verbale Kommunikation wie Video Höhere technische Hürden Anwendungen: − Projektmeetings − Produktbesprechungen − Designreviews − … 07.11.2024 Design in VR NVIDIA Holodeck: Photorealistic Collaborative Design in VR 07.11.2024 Ford & Gravity Sketch 3D Virtual Reality Car Design Kollaboratives Training: Schulungen 05.11.2024 Virtual Reality Training with Oculus Headsets VR für CAD 07.11.2024 Siemens Sony partnership Kollaboration - Design 07.11.2024 BMW uses Virtual Reality to Design Production Workstation  Volvo Cars & Varjo – Design and safety development in mixed reality (2019) XR im Automobilbau Höchste Auflösung Eyetracking Pionier in Mixed Reality 05.11.2024  Varjo & Lift Dynamics XR in Aerospace Zertifiziertes Trainig mit höchster Qualität Offene Systeme für Schwerelosigkeit PaleBlue Runs Zero Gravity Experiments with ESA 05.11.2024 Cloud XR "Pixelstreaming": Trackingdaten gehen in die Cloud, Bild kommt zurück Wieso? 07.11.2024 Cloud XR Höchste Leistung für All-in-One Displays Keine Sensitiven Daten auf dem Gerät Gute Skalierbarkeit (z.B. mit Amazon AWS) 07.11.2024 DEMO