Programación Entornos Gráficos - Tema 2

Tema 2: Programación de entornos gráficos y herramientas

• El tema se centra en la programación de entornos gráficos y las herramientas asociadas.
• El departamento de Ingeniería de Telecomunicación de EPS Linares es el responsable.
• La sesión corresponde al tema 2, sesión 4.

Índice

• Se presentan los conceptos básicos de renderizado, vistas, texturas, materiales e iluminación.
• Se describe la representación basada en jerarquías de nodos.
• Se detalla la construcción de geometrías y operaciones básicas.
• Se explican las propiedades básicas como color, material, texturas e iluminación.
• Se detallan los mecanismos de interacción, incluyendo GUI (interfaz gráfica de usuario) básica con teclado y ratón, y detección de colisiones.
• Se analizan aspectos especiales como la importación de modelos 3D, animación y LOD (nivel de detalle).
• Se explica la virtualización y realidad aumentada, incluyendo la incorporación de imágenes reales en entornos virtuales y viceversa.
• Se revisan las herramientas de desarrollo, desde OpenGL hasta Unity, pasando por GLUT y ARToolkit y Java 3D, entre otras.

Objetivos

• Conocer los componentes básicos de un entorno de realidad virtual.
• Conocer cómo estructurar los objetos e incorporar modelos creados con distintos programas.
• Conocer cómo incluir interacción básica.
• Analizar las diversas herramientas existentes para la creación de entornos virtuales.

Organización

• Se indica un total de 7 horas de clases presenciales con horas de estudio, 3 horas de trabajo autónomo y 3 horas de prácticas.
• La evaluación consistirá en preguntas cortas en la plataforma y una entrega de un trabajo propuesto.

2.1 Conceptos básicos.

• Renderizado: Convertir la descripción de una escena 3D en 2D ("redibujado de la escena").
• Una escena estática se describe mediante:
  • Geometrías 3D y transformaciones.
  • Superficies (representación matemática de los objetos).
  • Cámaras (posición y rotación del visor). El plano de imagen define el renderizado.
  • Fuentes de luz (emisoras de rayos y modos de renderizado).
  • Propiedades de superficies/materiales (propiedades de materiales y texturas para rebotes de rayos).

2.1 Renderizado.

• Las primitivas geométricas (vértices y triángulos) son fundamentales en gráficos. Los vértices tienen normales (vectores).
• El renderizado se realiza en un subsistema gráfico que incluye la CPU (unidad central de procesamiento), la GPU (unidad de procesamiento gráfico), memoria gráfica (VRAM), memoria principal (RAM) y pantalla.

2.1 Arquitectura de un modelo simple

• Se describe un diagrama con los componentes clave de un modelo simple, incluyendo la posición de la cabeza/orientación, el rastreador de cabeza, lentes, proceso de PC, modelo, motor de renderizado, frame buffer y pantalla.

2.1 Arquitectura de gráficos de RV

• Se describe una estructura jerárquica con capas de aplicación, gráficos/geometría y renderizado/rasterización. Cada capa tiene funciones específicas y a su vez utilizan la CPU y la GPU.
• Se incluyen algoritmos e inteligencia artificial, así como simulación física como parte de las operaciones.

2.1 Conceptos básicos.

• Mediante un proceso de rasterización, una imagen vectorial se transforma en píxeles con propiedades de color y posición.
• El color se almacena en el frame buffer (se usan dos buffers: front y back).
• El refresh rate determina la frecuencia del rasterizado.
• Una imagen también se llama trama o frame.

2.1 Rasterización y escaneado

• El uso del búfer Z (Depth Buffer) es esencial para guardar la coordenada Z (distancia al observador) de todos los fragmentos de la escena.
• Es utilizado en motores de visualización de aplicaciones interactivas.
• Raycasting o mapeado inverso se describe como una primera propuesta que evoluciona al Ray Tracing.
• Tiene un coste computacional elevado.

2.1 Pipeline gráfico. -Etapas funcionales de renderizado

• Se define un pipeline gráfico con etapas funcionales de renderizado mostrando la transformación de coordenadas (del modelo y del dispositivo)
• Se incluyen sistemas de coordenadas global, local y de visualización, junto con el recorte y la ventana del dispositivo.

2.1 Pipeline gráfico.- Etapas funcionales de renderizado.- Aplicación

• Se explica que la aplicación se ejecuta en la CPU (con múltiples núcleos).
• Se detallan las tareas de cálculo de posición, simulaciones físicas y detección de colisiones.
• Se describe la gestión de entradas del usuario (teclado, ratón, joystick, etc.).
• Se utiliza estructuras de datos para reducción del número de polígonos (texturas, sprites asociados a interfaces o avatares).

2.1 Pipeline gráfico.- Etapa de geometría. Transformaciones

• Se describe el procesamiento de vértices, la transformación y el procesamiento de vértices individuales y normales, la programación en tarjetas gráficas, y la definición de vértices y primitivas.
• Se revisan las transformaciones de los sistemas de coordenadas, incluyendo la transformación de modelado (para varias instancias del mismo objeto).

2.1 Pipeline gráfico.- Etapa de geometría.- Transformación de visualización

• Se describe la posición y orientación de la cámara para determinar los objetos visibles.
• El objetivo es ubicar la cámara en el origen del sistema de referencia universal (SRU) apuntando en dirección negativa del eje Z y con el eje Y hacia arriba. Las transformaciones incluyen la acción de rotación.

2.1 Pipeline gráfico.- Etapa de geometría.- Transformación de proyección

• Se explica cómo obtener la representación del material del objeto, modelando las transformaciones en las fuentes de luz, los vectores normales y la información de color.
• Se detalla la transformación de proyección, que se asocia con el campo de visión y el aspecto (tipo de lentes y cámara). Se explica el volumen de visualización.
• Se describe el volumen de proyección, ortográfica y perspectiva.
• Se explica cómo se obtienen las coordenadas normalizadas y la técnica de proyección para convertir de 3D a 2D.
• Finalmente se especifica la coordenada Z en el búfer Z.

2.1 Pipeline gráfico.- Etapa de geometría.- Transformación de recorte y transformación de pantalla

• Se explica la técnica de recorte que solo copia los objetos enteramente dentro del volumen de visualización.
• También se detalla el recorte de objetos y la generación de vértices nuevos.
• La transformación de pantalla se enfoca en adaptar las coordenadas x e y del cubo unitario a las dimensiones de la ventana final.

2.1 Pipeline gráfico.- Etapa de rasterización

• Se explica transformar los vértices y primitivas en fragmentos.
• Se describe la asignación de color a cada vértice e interpolación de líneas entre ellos.
• Se detalla la configuración de triángulos y el recorrido de triángulos para encontrar píxeles dentro de un triángulo y generar fragmentos.

2.2 Representación basada en jerarquía de nodos

• Se indica que un grafo representa la estructura que almacena y relaciona los elementos de la escena.
• Se describen los nodos básicos: geometría (almacena la información poligonal de los objetos con atributos como material y textura), grupo(para agrupar nodos hijos) y transformación afín (para aplicar transformaciones a los nodos hijos).

2.2 Representación basada en jerarquía de nodos

• Se indica que la información asociada a los nodos incluye geometría, atributos de apariencia, propiedades de materiales, caminos de desplazamiento, luces y cámaras, así como dependencias relativas a posiciones.
• Se proporciona ejemplos de jerarquías de nodos, como una bicicleta con componentes como cuadro, ruedas delantera y trasera.

2.2 Representación basada en jerarquía de nodos

• Se hace referencia a otras dependencias a nivel funcional, como ejemplo, un grafo de dependencia funcional como el que se implementa en Blender.

2.3 Construcción de geometrías

• Se detallan las fuentes para obtener objetos 3D (bibliotecas de assets, software de modelado 3D, scripts y algoritmos, y programas CAD).
• Los objetos 3D se componen de polígonos con vértices, lados, caras y vectores normales.
• Se describe cómo se representan las geometrías y superficies, incluyendo tipos de curvas y superficies (explícitas, implícitas y paramétricas).
• Se incluyen ejemplos como la representación de geometrías tipo Bezier y B-spline, así como superficies NURBS.

2.3 Construcciones de geometrías

• Se detalla la construcción a partir de curvas paramétricas y superficies, mediante subdivisiones recursivas, incluyendo ejemplos como modelado de objetos blandos.

2.3 Mapeado de texturas

• Se explica el mapeo de texturas en objetos 3D mediante imágenes 2D sobre polígonos.
• Se incluyen métodos básicos de proyecciones ortogonales (plana, esférica, cilíndrica, cúbica).

2.3 Otras técnicas

• Se describe el uso de voxels (unidades cúbicas) para modelar objetos 3D.
• Los voxels se utilizan para la optimización y la visualización de datos médicos o en tiempo real en entornos virtuales.
• Se explica el uso de nubes de puntos, la captura a partir de cámaras de profundidad (escaneados láser, Kinect) y la creación de modelos poligonales.

2.3 Operaciones básicas

• Se establecen coordenadas cartesianas (x, y, z) en sistemas de coordenadas habituales para programas de modelado (x,y horizontales, z vertical).
• Se indica cómo los motores de RV establecen las coordenadas (x derecha, y arriba, z hacia adentro o afuera), y cómo se interpreta la rotación (dextrógiro en Blender y 3dStudio, levógiro en Unity3D).
• Se especifican coordenadas polares (φ, θ, r), y las fórmulas para transformarlas a coordenadas cartesianas (x, y, z).
• Se definen transformaciones básicas: traslación, escalado y rotación. Se explica su implementación mediante matrices.

2.3 Transformación del modelo

• Se proporciona la matriz de escalado necesaria para transformar el vértice.
• Se explican las matrices de rotación en 2 y 3 dimensiones que se aplican a los vértices para realizar la rotación.
• Se revisan las transformaciones matriciales básicas para traslaciones.

2.3 Rotaciones-Alternativas

• Se introduce la idea de ángulos de Euler, destacando la importancia del orden en las rotaciones y la posibilidad de perder un grado de libertad ("Gimbal Lock").
• Se describen cuaterniones y el ejemplo de representación como 4-tuplas ([qx, qy, qz, qw]). Se destaca que se utilizan principalmente para evitar problemas de almacenamiento y tiempo de cálculo.

2.3 Transformación de la vista

• Se describe el proceso para trasladar un objeto a la posición del ojo y aplicar rotaciones mediante la matriz M.
• Se proporciona la fórmula para calcular la matriz de transformación.

2.3 Transformación de proyección

• Se detallan proyecciones en perspectiva y ortográfica. Incluyendo caso de fustrum simétrico y la fórmula para la matriz de proyección para distintos casos.

2.4 Propiedades básicas. Color, material, texturas e iluminación

• Se recalca la necesidad de considerar luz, materiales, reflexiones y colores al hacer renderizado. Se mencionan los modelos de color RGB y CMYK
• Se describen las propiedades físicas de los objetos en relación a cómo reflejan la luz.
• Se especifica la dependencia de las fuentes de luz.
• Se detallan los modelos de iluminación que especifican la transformación y reflexiones de luz para determinar cuál llega al objetivo de la cámara.

2.4 Iluminación-Sombreado

• Se describen modelos de sombreado, incluyendo sombreado ambiental, difuso y especular.
• Se detallan fórmulas para el cálculo de la iluminación de objetos.
• Se explican las aproximaciones a la iluminación global, destacando la independencia del observador.
• Se incluyen ejemplos de diferentes tipos de sombreado y la importancia de las normales en los vértices para la iluminación.

2.4 Texturas

• Se explica que las texturas permiten que las propiedades constantes de los materiales puedan variar.
• Se detalla el mapeado de texturas (procedimental/ de imagen) y se detallan los tipos de proyecciones ortogonales.

2.5 Interacción básica

• Se explica que la interacción es la acción del usuario que produce un cambio en el entorno virtual.
• Se menciona la necesidad de realimentación en tiempo real (Usuario-Acción-Consecuencia-Usuario) y su efecto en la sensación de presencia.
• Se indican diferentes tipos de categorías (directa - natural, física, virtual, agente) y taxonomías (Selección, Manipulación, Navegación y Control).
• Se describen las técnicas de selección (manual directa, Ray-casting o técnica de la linterna),
• Se menciona la oclusión de imágenes planas como técnica de selección.

2.5 Interacción básica

• Se detallan diferentes técnicas de manipulación (cambio de propiedades de objetos virtuales) como la selección con Ray-casting y el cambio distancia al objeto. Se incluyen métodos como HOMER (Hand Centered, Object, Manipulation, Extending Ray-Casting).

2.5 Interacción básica

• Técnicas de navegación (proceso controlado por usuario):
  • Control continuo (movimiento del usuario, marcha, plataformas de locomoción, control de vehículos, control gestual).
  • Control discreto (destino específico sin ruta).
  • Control programado (ruta prediseñada o mapa).
  • Se mencionan diferentes enfoques (egocéntrico, exocéntrico).

2.5 Desarrollo de una GUI

• Se informa sobre el uso de menús, widgets (botones) e interacción con objetos interfaz de usuario (UI) en Unity.
• Se indica el diseño y trabajo con objetos UI y UI en 2D y 3D.
• Se mencionan capacidades como la incorporación de scripts para la funcionalidad, la exportación a un navegador (WebGL) y las bibliotecas para el desarrollo de GUI en entornos 3D (ej: Ogre 3D, CEGUI).

2.5 Simuladores físicos

• Se describe la integración de simuladores físicos en motores de simulación física, incluyendo detección de colisiones, cálculo de líneas de visión (raytracing) y tiro parabólico, cuerpos de colisión, y la especificación de fuerzas.
• Se hace referencia a simuladores físicos como Bullet, ODE, PhysX y Havok.
• Se mencionan algunos algoritmos y bibliotecas de detección de colisiones (ej: I-Collide, V-Collide).

2.6 Aspectos especiales (Animación)

• Se describe la animación por imágenes clave e interpolación, la animación basada en modelos con captura de gestos o reconocimiento de expresiones básicas así como el uso de animaciones geométricas o basadas en МOСАР.

2.6 Animación

• Se menciona una herramienta como BCI (Brain Computer Interfaces) en ejemplos con Blender + OGRE.

2.6 Animación

• Se explica el control de la animación, con los aspectos geométricos y físicos, junto con las técnicas de comportamiento, motores y procedimientos. Se hace referencia a las reglas locales para las limitantes cinemáticas y a los simuladores físicos.

2.6 Level of Detail (LOD)

• Se explica el uso de diferentes versiones de un mismo objeto 3D para controlar la complejidad gráfica, dependiendo de la distancia a la cámara.
• Se menciona el uso de nodos o texturas.

2.7 Virtualización

• Se indica la inclusión de video como textura o su vinculación a una cámara para un objeto 3D, tecnologías como Ogre, y las bibliotecas como OpenCV.
• Se describe el uso de tecnologías HTML5 + WebGL. Se mencionam tutoriales y ejemplos usando Unity.

2.7 Realidad Aumentada

• Se explica la integración entre la escena real y virtual mediante sensores (magnéticos, inerciales, ultrasónicos, ópticos, mecánicos, especializados en marcar) y procesamiento de la información.

2.8 Herramientas de desarrollo

• Se indican las bibliotecas y plataformas para desarrollo de RV y RA (OpenGL, Direct3D, Unity3D, OpenVR, SteamVR, Oculus SDK, GoogleVR, Daydream, Google Cardboard ARToolkit, Vuforia, ARCore, Wikitude).

Este quiz se centra en el Tema 2 de la programación de entornos gráficos, donde se exploran conceptos como renderizado, iluminación y texturas. También se abordan las interacciones en GUI y aspectos avanzados como la realidad aumentada y animación. Es ideal para estudiantes del departamento de Ingeniería de Telecomunicación de EPS Linares.