Video360_T1

Sistemas de captura AV 360º

• Sesión sobre los sistemas de captura AV 360º impartida en el Máster de formación permanente RTVE.
• El módulo 6 trata del procesado avanzado de señal.
• El capítulo 6.1 se centra en Entornos 360º en audio y vídeo.
• Intro Inmersividad
• El temario incluye el vídeo a 360º, captura, procesado, codificación, renderización, percepción visual y modelos de atención, y calidad.

Inmersividad

• La inmersividad, su impacto en la experiencia del usuario y cómo se mide en entornos digitales.
• La inmersividad es la definicion sobre estar inmerso en un entorno digital.
• Diferencia entre inmersión sensorial y presencia en experiencias digitales.
• Relación entre estímulos audiovisuales y la sensación de "estar allí".
• Un usuario con gafas de VR experimenta una mayor inmersión que alguien viendo un video 360° en una pantalla plana.

Telepresencia

• El concepto de telepresencia se refiere a la sensación de estar presente en un lugar remoto mediante la interacción con una interfaz digital.
• La presencia es la percepción de estar inmerso en un entorno virtual.
• La tecnología de vídeo inmersivo aumento la sensación de presencia, proporcionando más grados de libertad que los sistema tradicionales.
• Los sistemas tradicionales ofrecen 0 DoF, mientras que las tecnologías inmersivas pueden proporcionar hasta 6 DoF, permitiendo la exploración libre del entorno virtual.

Qué entedemos por inmersividad

• La inmersividad se refiere al grado en el que un sistema puede hacer que un usuario se sienta "presente" en un entorno digital, minimizando la percepción de la realidad física.
• Está directamente relacionado con la interacción multisensorial, la eliminación de estímulos del mundo real y el nivel de realismo del contenido renderizado.
• Existen dos tipos de inmersión en experiencias digitales: sensorial y cognitiva.
• La inmersión sensorial es cuando el sistema sustituye completamente los estímulos del mundo real, como en un casco de realidad virtual.
• La inmersión cognitiva es cuando el usuario se siente completamente absorto en la experiencia, incluso si los estímulos del mundo real aún están presentes.
• La inmersividad se mide en función de la capacidad de los dispositivos y entornos digitales para generar experiencias envolventes.

Inmersión vs Telepresencia

• Telepresencia es la sensación de estar físicamente presente en un lugar remoto a través de una interfaz digital.
• Presencia es la percepción de "estar allí" en un entorno virtual, con la ilusión de no mediación entre el usuario y el entorno.
• Encarnación está relacionado con la percepción del cuerpo del usuario en un entorno virtual, generalmente representado por un avatar.
• La inmersión es una propiedad objetiva del sistema, mientras que la presencia es la respuesta subjetiva del usuario a ese sistema.
• Un casco de VR con alta resolución y sonido 3D tiene alta inmersión, pero la presencia del usuario dependerá de lo realista y natural perciba el entorno virtual.

Factores que influyen en la presencia

• Resolución y fidelidad visual (cuánto se parece el mundo digital al real).
• Latencia y velocidad de respuesta (si el sistema se siente fluido o hay retrasos).
• Interacción (si el usuario puede interactuar con los elementos virtuales de manera natural).
• Calidad del audio 3D (si el sonido proviene de direcciones realistas).
• Cuanto más realista y receptivo sea el entorno virtual, mayor será la presencia del usuario.

Continuo realidad-virtual de Milgram

• Proporciona un análisis comparativo de diversas tecnologías de vídeo inmersivo con respecto a dos dimensiones fundamentales: realismo e interactividad.
• Realismo es cuán fidedigno es el contenido visual en comparación con la percepción del mundo real, englobando fotorrealismo, iluminación, texturas y geometría precisa.
• Interactividad es el grado en que un usuario puede interactuar con el contenido de manera significativa, incluyendo la capacidad de manipulación, movimiento y cambios en tiempo real.

Tecnologías para aumentar el realismo

• Las tecnologías como HDR y HFR aumentan el realismo, pero no la interactividad.
• Las aplicaciones de realidad virtual con gráficos generados por computadora (CGI) tienen alta interactividad, pero menor realismo.
• El vídeo multivista y la holografía tiene un medio-alto del realismo y interactividad.
• El vídeo omnidireccional campos de luz tiene muy alto del realismo y alto hasta bajo interactividad.

Definiciones

• El vídeo multivista captura múltiples vistas de una misma escena desde diferentes ángulos.
• La holografía proyecta imágenes tridimensionales sin dispositivos adicionales, utilizada en comunicaciones holográficas.
• El vídeo omnidireccional, conocido como vídeo 360°, captura una escena en todas direcciones desde un solo punto de vista,.
• Los campos de luz registran todos los rayos de luz de una escena.
• El video volumétrico captura objetos y entornos en 3D utilizando nubes de puntos o mallas poligonales, lo que permite representar avatares y entornos interactivos en el metaverso.

Realidad Extendida - XR (eXtended Reality)

• Engloba todas las tecnologías inmersivas, como Realidad Virtual (VR), Realidad Aumentada (AR) y Realidad Mixta (MR).
• XR es un término paraguas que cubre cualquier tecnología que expanda la experiencia sensorial del usuario mediante contenido digital.
• Un sistema de XR podría permitir a un cirujano practicar una operación en un entorno VR completamente virtual, o utilizar AR para visualizar órganos superpuestos en un paciente real.
• La VR sumerge al usuario en un entorno digital generado por computadora, eliminando la percepción del mundo físico, usando cascos de realidad virtual (HMDs) y controladores hápticos.
• La AR superpone elementos digitales sobre el mundo real sin reemplazarlo completamente, usando móviles, tablets con cámara y gafas de AR.
• La MR combina VR y AR para permitir interacciones más avanzadas entre objetos físicos y virtuales, usando gafas de AR.
• La VR ofrece alta inmersión, sin interacción con el mundo real, usado para entrenamientos, usando oculus quest y playstation VR.
• la AR ofrece baja inmersión, superponen objetos virtuales sobre el mundo real, usando el móvil con Pokémon GO, usado para la navegación.
• la MR ofrece media inmersión donde se combinan objetos físicos y virtuales para diseñar a la medicina.
• La inmersión total, con el AR ofrece útil en navegación y educación
• La MR permite interacción avanzada entre lo físico y lo virtual.
• A medida que la realidad extendida (XR) evoluciona, se espera una mayor integración con IA, 5G y nuevos dispositivos hápticos.

Vídeo inmersivo

• El vídeo inmersivo se basa en proporcionar una mayor sensación de presencia y libertad de exploración.
• La función plenóptica describe la radiación luminosa en un espacio 3D y está definida como P(θ,φ,λ,t,x,y,z), donde θ es la dirección de la luz, λ la longitud de onda, t el tiempo y x, y, z la posición en el espacio.
• El vídeo ha evolucionado con mejoras en resolución (UHD, HDR, HFR), sonido envolvente, imagen estereoscópica (3D), realidad virtual (VR) y realidad aumentada (AR), campos de luz y vídeo volumétrico.
• Deep learning con tarjetas gráficas (GPUs) ha permitido mejorar la captura y representación de escenas inmersivas.
• Alta resolución y mayor fidelidad del contenido Full HD, UHD y 8K mayor detalle y fidelidad visual.
• Mejora en la representación de los píxeles: High Dinamic Range (HDR) mejora el contraste negros mas profundos y blancos más brillantes .
• Incremento en el número de cuadros por segundo: 24/30 fps, 60 fps, 120 fps reduce el desenfoque de movimiento.
• El video estereoscópico (3D) utiliza dos imágenes ligeramente desplazadas para simular profundidad con gafas en cinema , videojuegos y VR.
• Ventajas del realista y pantallas en 3D.
• Desafios pueden causar fatiga ocular.
• El video Omnidireccional captura todo en entrenamiento y medicina con documentales de nat geo en vr.
• Ventajas alta fidelidad , y desventajas baja interactividad y distorsión.

Campos de luz y vídeo volumétrico.

• Campos de Luz (Light Fields) captura todos los rayos de luz en una escena para permite el cambio de perspectiva en postproducción.
• Vídeo volumétrico captura sujetos y entornos en 3D mediante nubes de puntos o mallas poligonales.
• Ventajas experiencia interactiva y desventajas alto costo computacional.

Pautas del video inmersivo

• Adquisición y Representación con cámaras esféricas o fotogrametría.
• Compresión y Transmisión con HEVC, VVCу MPEG-I.
• Renderizado y Visualización como neural rendering.
• Evaluación de Calidad con métricas subjetiva y objetiva con métodos de atención visual.
• El vídeo inmersivo está en constante evolución , popularización de la tecnología rediciendo costos de dispositivos procesamiento, integración háptica gestual.
• Mejorar la fidelidad visual.
• El futuro del video inmersivo pasa por el entrenimiento, la telepresencia y la salud.
• Se clasifican según la realidad el video omnidireccional, campos de luz, vídeo volumétrico.
• Tecnologias de vídeos según la realidad es alto y baja la interactividad con holografia y multivista.

Grados de libertad

• Los grados de libertad (DoF, Degrees of Freedom) son una medida del número de movimientos independientes que un usuario puede realizar dentro de un espacio inmersivo.
• En realidad virtual (VR), realidad aumentada (AR) y vídeo inmersivo, determinan la libertad de movimiento e interacción del usuario con el entorno virtual.
• Depeden de los sensores de seguminto y el hardware utilizado.
• En un entorno 3D, existen seis grados de libertad (6DoF), divididos en movimientos de traslación y rotación.
• Rotación movimiento de cabeza sin desplazamiento físico.
• Transición: Movimiento en la cabeza en tiempo real.
• Tres grados de libertad 3DoF para el Usuario, que se usa para la visión 360 VR y gafas como google Carboad , con la limitación de genera mareos.
• Seis grados de libertad D6OF para el Usoario que le permite la rotación para Oculus 2 y PlayStationVR2 con aplicaciones interactivas, pero nesita hardeares y sensores muy avanzados.
• La funcion de video en vídeo 360 es de 3DOF, la realidad in entrenamiento es de 6DOF.
• Un usuario con 3DoF en un vídeo 360° puede mirar alrededor, pero no moverse. En cambio, con 6DoF en un juego VR, el usuario puede caminar, agacharse y moverse libremente dentro del entorno.

Función plenóptica

• Es un modelo matemático que describe cómo la luz viaja en un espacio tridimensional, representando la información luminosa de una escena y reconstruyendo imágenes desde distintos puntos de vista.
• Es clave gráficos por computadora, visión artificial, renderizado de escenas 3D y realidad inmersiva.
• Al observar un objeto desde diferentes ángulos, la luz reflejada varía; la función plenóptica modela esta variación para simular la percepción de profundidad, perspectiva y enfoque en entornos digitales.
• Describe un funcion de 7 dimensiones que depende donde se describe por un paramentro l(x,y,z,theta,phi,lambda,t) donde X hace referencia a posición del punto en el espacio 3d, thera es la dirrecion y lambda el calor del color.
• Modelar la luz en todas direcciones creando formas realistas.
• Cuando se captura solo una parte de la funcion plenóptica, se necesita capturar mas dimensiones de la luz.
• Funión plenoptrica 5d hace que no se mueva haciendo reduce las dimisiones para imagenes.
• Una cámara plenóptica con lente de Lytron una escena para facilitar el punto de enfoque.
• Usado en fotografía computacional.
• Aplicaciones en vision arfificial con camaras plenópticas , realisdad aumentado se renderizan imagenes de campo de luz.
• 4D crea camaras planeticas.
• En los desafíos se requieren altos almacenamientos de datos,renderizar de imagenes a tiempo real .

Futuro desafíos tecnicos

• La evolución de la inmersividad en barreras en la transmisión, visualización .
• Metaverso requiere 8K o superior para evitar el efecto de pantalla de rejilla (the screen door effect).
• Las imágenes de varias cámara tiene fusionarse el stitching para evitar artefactos en las profundidades
• Las superficies reflectantes suelen generar perdidas de datos.
• Complicado por el gran volumen de datos a procesar y renderizar en tiempo real para métrica de valor es clave.
• En el vídeo inmersivo son pesados e imprescindible lograr alta comprensión para una transmicion viable, H265/ HEVC.
• Limites den redes actuales.
• Edge computing como altenativa.
• Evitar fugas o datos personales y manipular el contenido en la visualiza.
• Aumentar la capacidad , efectos y seguimiento ocular empleados

Técnologias de adqusición de video inmersivo

• Capture imágenes desde multiples perspectivas diferentes como las cameras ésteficas y sensorses de profundidad.
• Ventajas foca con la resolucion y es muy costoso
• Desafios stitching y distorcion son difíciles.
• Matrices de camaras, que captura las cameras de multiplista capturavistas y genera el cambio de perspectiva y su costo e intensivo.
• Sensores y capture precision con el tiempo son dificiles. Cámaras esféricas
• Utilizan dos o más la lente fisheye para tener imágen completa.
• Cada lente capta una parte del proyeccipon y la distocion son desafios.
• Las matrices de camaras capturan con multimples angulos.
• TV o 3d dan angulos multiplus para el usario.

Compresión del video inmersivo

• Inmersivo genera enorme cantidad de datos debido a su alta resolución, múltiples vistas y representaciones tridimensionales.
• Hay compresión con: altas resoluciones, esférico o volumétrico, proyecciones esféricas y el volumen como decodificación que disminuye calidad.
• reduce la redundancia dentro de cada fotograma para eliminar la información redundante.
• Técnicas de Proyección Optimizada como Proyección Optimizada
• Con el objetivo de desperdiciar lo menos posible con cubica y icosaédrica
• También existen las transmisión de Bloques
• Tile-based Streaming de bloque que utiliza el usuario con el objetivo de un ahhoro .
• Codificación orendado con foco en el ojo uilzando menos resulución con meta quest.
• La compresión de teselas el la mejor opción de videos inmersivos para y reducir la latencia.
• Con el fin de segmentar las imágenes y un gran seguimiento
• Con hECV, el decodificador parcial
• El resultado del análisis.

Renderizado

• El procesamiento gráfico en VR y AR requiere técnicas avanzadas para manejar grandes volúmenes de datos y minimizar la latencia.
• Se utilizan la division , el refoque de la imagen y VRS .
• Nviidia y RTX aumentan la iluminación o la familia.
• Dependera del vidoe inmersivo de comprension y frecuencia.
• Se recomienda la versión de video y se requerirera RTX.
• El visor en dispositivos es con HMD.
• Lo sensores son importantes si se pretende un rastreo preciso.
• Se requiere la calidad del video y la misión para una mayor comprensión.