Tema 3: Modelado de Información de Salida PDF

Tema 3: Modelado de información de salida Dpto. Ingeniería de Telecomunicación EPS Linares Tema 3/ Sesión 11 1  Índice 1. Interacción visual. Estereoscopía, mejora del realismo asociado al movimiento con cambios de iluminación...

Tema 3: Modelado de información de salida Dpto. Ingeniería de Telecomunicación EPS Linares Tema 3/ Sesión 11 1  Índice 1. Interacción visual. Estereoscopía, mejora del realismo asociado al movimiento con cambios de iluminación, sombras, etc. 2. Programación de audio para aplicaciones interactivas. APIs de desarrollo de audio. MIDI, HRTF, sonido envolvente. Conceptos básicos de audio y simulación de entornos acústicos. 3. Modelado háptico. Conceptos básicos sobre estimulación propioceptiva y táctil. Renderizado háptico, simulación de texturas, simulación de deformaciones. Tema 3/ Sesión 11 2  Objetivos Conocer la información que puede añadirse a un entorno virtual para aumentar el realismo. Enriquecer el modelo mediante la mejora del flujo de salida de información sensorial. Conocer los distintos dispositivos de salida que pueden usarse para que el usuario final aproveche la mejora del modelo. Tema 3/ Sesión 11 3  Organización 8 horas de clases presenciales + horas de estudio 3 horas de trabajo autónomo 4 horas de prácticas Evaluación: - Breves preguntas en la plataforma. - Entrega de trabajo propuesto. Tema 3/ Sesión 11 4  3.3 ¿Tacto? Háptico Cinestésico Táctil (Kinestesic /Force)  Presión en la piel, vibración  Extensión, tensión  Temperatura (gradiante).  Movimiento  Desplazamiento (fuerzas  Respuestas a fuerzas aplicadas distribuidas) Somatosensorial (espacio) Dolor Cómo: Mecanoreceptores, Cómo: termoreceptores cutáneos.  Músculos, tendones y articulaciones  Propioreceptores:  Husos musculares (extensión).  Órgano de Golgi (tensión). 3.3 Modelado háptico Tema 3/ Sesión 18 5  3.3 Términos Término Definición Háptico Relativo al sentido del tacto (activo). Propioceptivo Relacionado con la información sensorial acerca del (Cinestésico + estado corporal (sensaciones cutáneas, kinésicas y Vestibular) vestibulares). Vestibular Relativo a la percepción de la posición de la cabeza, su aceleración y deceleración. Cinestésico Implica la sensación del movimiento. Sensaciones originadas en los músculos, tendones y uniones. Cutánea Perteneciente a la piel en si misma o como órgano sensorial. Incluye las sensaciones de presión, temperatura y dolor. Táctil (tacto pasivo) Referido a la sensación cutánea pero principalmente a la presión. Realimentación de Relativo a la producción mecánica de información fuerza sensorial por el sistema cinestésico. 3.3 Modelado háptico Tema 3/ Sesión 18 6  3.3 Cinestésico y propioceptivo  Se usan como sinónimos en numerosas ocasiones.  Propiocepción (Sensado de la posición por las articulaciones)  Reconocer el movimiento de las posiciones y el movimiento de las partes del cuerpo.  Se obtiene mediante las terminaciones nerviosas y los corpúsculos de Pacini y Ruffini de las articulaciones.  Las articulaciones más cercanas al cuerpo se sensan con mas precisión.  Reconocemos las posiciones de nuestras manos sin verlas con 8 cm de precisión.  Cinestésico (Sensado del movimiento de las articulaciones):  Registro de contracciones y estiramientos de los músculos (husos musculares, órganos de Golgi).  Mecanoreceptores cutáneos (estiramiento piel).  Se ayuda de la detección de fuerzas. 3.3 Modelado háptico Tema 3/ Sesión 18 7  3.3 ¿Tacto?  ¿Cómo interviene nuestro cerebro?  Asociación con propiedades para sentir superficie – rugosa, pegajosa, blanda, etc.  Estereognosia-> Facultad de percibir y comprender la forma y naturaleza de los objetos mediante el sentido del tacto.  Aprendizaje-> NLP (Neurolinguistic Programing) -> personas visuales, kinestésicas, auditivas, … Asociación entre Método de Aprendizaje y Retención (Stice, 87)  Leemos -> 10%  Oímos -> 26%  Vemos -> 30%  Vemos y escuchamos -> 50%  Hablamos -> 70% ¿Y lo que sentimos? 3.3 Modelado háptico Tema 3/ Sesión 18 8  3.3 ¿Tacto?  Exploración háptica 3.3 Modelado háptico Tema 3/ Sesión 18 9  3.3 Haptic – Realidad Virtual  Interacción mediante herramientas (Retroalimentadores de fuerza puntuales)  Estimulación vibrotactil (Guantes)  Vibradores, pequeños altavoces.  Sensación no localizada-> altas frecuencias.  Resolución espacial -> bajas frecuencias. 3.3 Modelado háptico Tema 3/ Sesión 18 10  3.3 Haptic – Realidad Virtual  Sustitución sensorial- uso de otras modalidades. Pseudo háptico.  Sensaciones hápticas sin estimulación háptica.  Modalidades: Visual.(Es dominante) Auditiva (duración, frecuencias).  Realidad aumentada en háptico- Háptico pasivo.  Poca interacción manual- sensado pero no estimulación-Exoesqueletos.  Muy poca o ninguna estimulación corporal. Simuladores. 3.3 Modelado háptico Tema 3/ Sesión 18 11  3.3 Retroalimentadores puntuales.  Bucle de Control- Control en Bucle Cerrado.  Control en bucle cerrado. Diferencia entre la orden del usuario u y umed, el controlador ordena a la Planta (dispositivos de RV). 3.3 Modelado háptico Tema 3/ Sesión 18 12  3.3 Retroalimentadores puntuales.  Bucle de Control- Control en Bucle Cerrado.  Control por impedancia. F= f(x). Se sensa posición y se realimenta fuerza. Impedancia Cálculo de Dispositivo Usuario siente Sensores de Movimiento fuerza como háptico fuerzas posición del usuario función de genera dispositivo la posición fuerzas Controlador Fuerzas Usuario Par/ Motores Entorno Usuario Dispositivo Virtual Masas Posición/ Sensores Posiciones 3.3 Modelado háptico Tema 3/ Sesión 18 13  3.3 Retroalimentadores puntuales.  Bucle de Control- Control en Bucle Cerrado.  Control por admitancia. x= f(F). Se sensa fuerza y se retroalimenta posición.  Objetos solidos o absolutamente rígidos  Problemas con vacío: espacio trasparente. Admitancia Sensores de Cálculo de Dispositivo Usuario siente Fuerza del posición como háptico cambios fuerza del usuario función de la genera posición dispositivo fuerza posición Controlador Fuerzas F Fuerza/ Usuario Sensores Dispositivo Entorno Usuario Masas Virtual Par/ Motores x Posiciones 3.3 Modelado háptico Tema 3/ Sesión 18 14  3.3Control del Impedancia.  Bucle de Control- Control en Bucle Cerrado.  Control por impedancia. F= f(x). Caso de un solo grado de libertad. 1. Leer posición. 2. Mirar si hay colisión con objetos del EV. 3. Si hay-> Calcular fuerzas. 4. Enviar comandos de torques/pares a los motores, cambiar el estado del EV.  Se necesita penetrar ligeramente en el objeto para tocarlo.  No se pueden modelar sólidos puramente rígidos (K).  El renderizado háptico debe hacerse a 1000 Hz. 3.3 Modelado háptico Tema 3/ Sesión 18 15  3.3Control de Impedancia.  Bucle de Control- Control en Bucle Cerrado. Control por impedancia.  Problemas:  Rigidez y grado de penetración.  Objetos delgados, discontinuidades.  Rango de impedancias de contacto simulable (tasa de renderizado).  Soluciones:  Eficiencia en la detección de colisiones.  Simulación del comportamiento dinámico.  Mejora de algoritmos de respuesta a la colisión.  Trucos perceptivos: Realimentación visual.  Ejemplo: realimentación visual de la rigidez. 3.3 Modelado háptico Tema 3/ Sesión 18 16  3.3Control del Impedancia.  El software usado asociado con el dispositivo facilita:  Sensar la posición y velocidad (tiempo, instantánea, media).  Acceso a sensores mecánicos basados en articulaciones de una herramienta o brazo. Mapeados:  El espacio en ángulo de las articulaciones en coordenadas cartesianas. Cinemática directa (Jacobiano).  El espacio de los torques de las articulaciones en fuerzas aplicadas en el retroalimentador puntual.  Se suelen utilizar modelos simplificados:  Fuerzas tangenciales, histéresis para la fricción (simular táctil).  Sistemas Masa-Resorte-Amortiguador (sólidos blandos?). 3.3 Modelado háptico Tema 3/ Sesión 18 17  3.3Control del Impedancia.  El software usado asociado con el dispositivo facilita el mapeado entre posiciones y fuerzas emitidas atendiendo al entorno virtual: 3.3 Modelado háptico Tema 3/ Sesión 18 18  3.3Control del Impedancia.  Ejemplo de dispositivo: Phantom Omni. 3.3 Modelado háptico Tema 3/ Sesión 18 19  3.3Modelado virtual.  Modelado de superficies:  Dureza. Constante de proporcionalidad (penetración, fuerza).  Fricción. Rozamiento complejo (velocidad).  Textura. Rugosidad-fuerzas tangenciales asociadas a desniveles.  Otras (fuerzas magnéticas, elásticas, gravitacionales, etc.)  Modelado de sólidos (No siempre son rígidos- visual+ háptico):  Densidad.  Elasticidad- Recuperación de forma (proporcional a deformación).  Viscosidad- Fuerzas opuestas al movimiento.  Plasticidad- Conservar deformaciones.  Interacción entre sólidos. M: Masa C: Viscosidad K: Elasticidad 𝑀. 𝑥 ′′ + 𝐶. 𝑥 ′ + 𝑘. 𝑥 = 𝐹 x: vector deformación (posición x de punto deformable)  Modelado de líquidos. x’: vector velocidad deformación x’’: vector aceleración. F: fuerza realimentada para cambiar posición x 3.3 Modelado háptico Tema 3/ Sesión 18 20  3.3 Renderizado háptico.  Modelo físico del Entorno Virtual Elasticidad y Deformaciones Texturizado Superficie Contacto duro Interfaz de Agarre Control Háptico Detección de Colisiones Restricciones físicas Interfaz Háptico 3.3 Modelado háptico Tema 3/ Sesión 18 21  3.3 Renderizado háptico.  Pipeline del renderizado háptico. háptico Detección de Cálculo de Suavizado Mapeado de Texturizado Colisiones fuerzas fuerzas fuerzas háptico  Detección de colisiones.  Respuesta rápida con BoundingBox. Tamaño fijo o variable.  La velocidad de renderizado es determinante en la detección de la colisión.  Detección en dos fases: Bounding Box+ detección precisa. t t+1/fps d < v. 1/fps 3.3 Modelado háptico Tema 3/ Sesión 18 22  3.3 Renderizado háptico.  Pipeline del renderizado háptico. háptico Detección de Cálculo de Suavizado Mapeado de Texturizado Colisiones fuerzas fuerzas fuerzas háptico  Representación del dispositivo en el mundo virtual.  Cálculo de colisiones y de fuerzas.  Punto de Interaccion háptico (HIP)- 3DOF  Herramientas 3D-> Mas HIP, 6DOF, sólidos rígidos (torques, centros de masa,..) y herramientas deformables??  Cuando hay colisión se desdobla y al punto visible se le llama Proxy, God Object,.. 3.3 Modelado háptico Tema 3/ Sesión 18 23  3.3 Renderizado háptico.  Pipeline del renderizado háptico. háptico Detección de Cálculo de Suavizado Mapeado de Texturizado Colisiones fuerzas fuerzas fuerzas háptico  Respuesta a las colisiones.  No penetración, rebote, fricción. (Ej: Impactos. ropa)  Deformación de las superficies.  Corte de la superficie (fuerza de contacto excede de un límite): se crean vértices gemelos que se separen en base a leyes físicas (muelle, amortiguación). 3.3 Modelado háptico Tema 3/ Sesión 18 24  3.3 Renderizado háptico.  Pipeline del renderizado háptico. háptico Detección de Cálculo de Suavizado Mapeado de Texturizado Colisiones fuerzas fuerzas fuerzas háptico  Cálculo de fuerzas- Modelos.  Fuerzas de contacto- establecer restricciones.  Fuerzas de penalización (restricciones débiles): factor de la penetración del HIP o como distancia entre el proxy y el HIP.  El cálculo de la fuerza se hace en base a:  Modelos lineales: elásticos, amortiguadores, etc. Ej: Fricción de Coloumb-> punto ancla y muelle.  Modelos no lineales.  Haptic Mesh. 3.3 Modelado háptico Tema 3/ Sesión 18 25  3.3 Renderizado háptico.  Pipeline del renderizado háptico. háptico Detección de Cálculo de Suavizado Mapeado de Texturizado Colisiones fuerzas fuerzas fuerzas háptico  Cálculo de fuerzas- Modelos.  Dureza: pared puramente elástica es poco realista. Truco: componente disipativa viscosa. k: Dureza c: Amortiguación viscosa 3.3 Modelado háptico Tema 3/ Sesión 18 26  3.3 Renderizado háptico.  Pipeline del renderizado háptico. háptico Detección de Cálculo de Suavizado Mapeado de Texturizado Colisiones fuerzas fuerzas fuerzas háptico  Cálculo de fuerzas- Modelos de sólidos.  Rigidos. Torques, fuerzas sobre el centro me masa.  Deformables (Ecuaciones diferenciales de segundo orden o sistemas de ecuaciones): Elásticos Plásticos. Viscosos Viscoelásticos  F = mx’’ + cx’ + kx  Fij= mixi’’ + cijxij’ + kijxij 3.3 Modelado háptico Tema 3/ Sesión 18 27  3.3 Renderizado háptico.  Pipeline del renderizado háptico. háptico Detección de Cálculo de Suavizado Mapeado de Texturizado Colisiones fuerzas fuerzas fuerzas háptico  Suavizado de fuerzas. Mejora de la sensación háptica.  Cambios bruscos en la dirección o magnitud de la fuerza pueden producir inestabilidades.  No siempre se usan las normales de la superficie para el cálculo, sino que se tienen en cuenta el movimiento, etc.  Interpolación.  Suavizado de Phong.  Modelado realístico de deformaciones cuando se trabaja con Haptic Mesh y no solo un HIP. 3.3 Modelado háptico Tema 3/ Sesión 18 28  3.3 Renderizado háptico.  Pipeline del renderizado háptico. háptico Detección de Cálculo de Suavizado Mapeado de Texturizado Colisiones fuerzas fuerzas fuerzas háptico  Mapeado de fuerzas: adaptar las fuerzas al dispositivo háptico.  Texturizado háptico: La fuerza de textura aplicada en HIP: y F = A sin (m.x). sin(n.y) donde A, m, n son constantes: x A-> magnitud de las vibraciones. z M, n -> modulan la frecuencia de las vibraciones en las direcciones x e y. 3.3 Modelado háptico Tema 3/ Sesión 18 29