Video360_T2

Sistemas de Captura AV 360°

• El objetivo es el procesamiento avanzado de señal en entornos 360° en audio y video.
• Se centra en los sistemas de captura AV 360°.

Cadena de Video 360° End-to-End (Glass-to-Glass)

• Cubre todos los bloques funcionales desde la captura hasta la reproducción en el visor del usuario.
• Abarca adquisición, compresión, transmisión, decodificación, y renderizado del contenido inmersivo.

Bloques Funcionales y Misión

• Captura y Adquisición: Grabar el contenido en 360° con alta fidelidad.
• Procesamiento y Stitching: Fusionar imágenes para generar un video esférico sin costuras.
• Codificación y Compresión: Reducir el tamaño del video sin sacrificar calidad.
• Transmisión y Distribución: Enviar el contenido de manera eficiente según el ancho de banda.
• Decodificación y Renderizado: Optimizar la reproducción en dispositivos del usuario.
• Dispositivos de Visualización: Mostrar el contenido en VR, móviles o proyectores.
• Evaluación de Calidad: Medir la experiencia del usuario y optimizar la entrega.

Adquisición y Distorsión de la Lente

• La distorsión es un problema común con objetivos gran angular.
• Líneas rectas aparentan arquearse hacia el borde del marco.
• La distorsión ocurre porque la ampliación disminuye al alejarse del eje óptico.
• Lentes de ojo de pez maximizan la distorsión para capturar imágenes curvadas y esféricas.

Distorsiones Cromáticas

• Distorsiones que afectan los colores
• Viñeteado oscurece las esquinas debido a la caída de luz perimetral.
• Aberración cromática aparece como franjas de color en los bordes por la diferente refracción de la lente.
• Resplandor de la lente o imágenes fantasma
• La luz desviada causa imágenes fantasma o destellos que reducen contraste.
• Los destellos de la lente son puntos de luz.

Tipos Comunes de Distorsión de la Lente

• Distorsión de barril
• Distorsión de cojín
• Distorsión de ojo de pez

Calibración de Cámaras Omnidireccionales

• Es esencial para corregir distorsiones en lentes gran angular y sistemas catadióptricos.
• Garantiza que las imágenes capturadas representen el entorno fielmente.
• Preparación del Patrón de Calibración
• Requiere tableros de ajedrez, rejillas de círculos, o patrones aleatorios.
• Estos patrones sirven para identificar puntos clave en las imágenes.

Captura de Imágenes del Patrón

• Colocación en diferentes posiciones y orientaciones.
• Recomendable obtener al menos 10 imágenes desde distintas perspectivas para asegurar una calibración precisa.

Detección y Definición de Puntos Clave

• En cada imagen, se deben identificar esquinas o puntos clave del patrón.
• Se usa la función cv::findChessboardCorners de OpenCV para tableros de ajedrez.
• Los puntos detectados se almacenan en imagePoints.
• Además, Definir coordenadas correspondientes en el espacio tridimensional real (objectPoints), basándose en dimensiones físicas del patrón.

Calibración y Rectificación

• Con imagePoints y objectPoints se calibra, y tras obtener los parámetros rectifica las imágenes.

Stitching de Imágenes

• El stitching de imágenes
• Combina fotografías superpuestas para crear una imagen panorámica o de alta resolución.
• Se usa en fotografía panorámica, vigilancia y cartografía.
• Fundamental que las imágenes tengan superposición (15-30%).
• Mantener exposición y balance de blancos consistentes es esencial.

Proceso de Stitching

• Se identifican puntos de interés (keypoints) distintivos en cada imagen.
• Algoritmos comunes para la detección incluyen:
  • SIFT (Scale-Invariant Feature Transform): Invariante a escala y rotación.
  • SURF (Speeded-Up Robust Features): Similar a SIFT, optimizado para velocidad.
  • FAST (Features from Accelerated Segment Test).
  • ORB (Oriented FAST and Rotated BRIEF): Combina detección rápida con descriptores eficientes.

SIFT (Scale-Invariant Feature Transform)

• Algoritmo de visión por computadora para detectar características invariantes a escala, rotación e iluminación.
• Objetivo: Identificar puntos clave detectables bajo diferentes escalas.
• Genera una representación multiescala mediante convolución con funciones Gaussianas.
• Calcula Diferencias de Gaussianas (DoG) para resaltar cambios significativos, como bordes.

Fases del Algoritmo SIFT

• Construcción del Espacio de Escalas
• Detección de Extremos en el Espacio de Escalas
• Localización Precisa de Puntos Clave
• Asignación de Orientación
• Construcción del Descriptor de Puntos Clave

Construcción del Espacio de Escalas en SIFT

• Núcleo gaussiano G(x, y, σ) = (1 / (2πσ^2)) * e^(-(x^2+y^2) / (2σ^2))
• x,y son coordenadas del píxel y σ es el parámetro relacionado con la escala.
• La ecuación resultante para cada escala es: L(x, y, σ) = G(x, y, σ) * I(x, y)

Detección de Extremos en el Espacio de Escalas en SIFT

• Comparar el valor de un pixel con sus 8 adyacentes en su escala,
• Comparar los nueve píxeles equivalentes en las escalas anterior y siguiente.
• Definir umbral de intensidad y seleccionar puntos por encima del umbral.

SURF (Speeded-Up Robust Features)

• Técnicas en visión por computadora para describir puntos clave eficiente y robusta.
• Se inspira en el algoritmo SIFT.
• Representación en el Espacio de Escalas
• Detección de Puntos de Interés
• Asignación de Orientación
• Construcción del Descriptor

Matriz Hessiana en SURF

• Para garantizar invariancia a escala
• SURF construye una representación de la imagen en múltiples escalas.
• SURF emplea imágenes integrales para calcular respuestas de filtros en diferentes escalas.
• Utiliza el Determinante de la Matriz Hessiana para detectar puntos de interés.
• Evalúa la curvatura de la intensidad con su determinante que indica máximos locales prominentes.
• El algoritmo SURF mejora la eficiencia con filtros de caja (box filters).

Componentes de la Matriz Hessiana

• La matriz Hessiana (H(x, σ)) incluye Lxx(x, σ), Lyy(x, σ) y Lxy(x, σ).
• Lxx(x,σ) = (∂^2 / ∂x^2)(I(x) * G(x, σ)): Es la segunda derivada de la imagen en la dirección x.
• Lyy(x,σ) = (∂^2 / ∂y^2)(I(x) * G(x, σ)): Es la segunda derivada de la imagen en la dirección y.
• Lxy(x,σ) = (∂^2 / ∂x∂y)(I(x) * G(x, σ)): Es la segunda derivada mixta en las direcciones x e y.

Determinante de la Matriz Hessiana

• Det(H) = LxxLyy - (Lxy)2
• Si Det(H) es grande, gran cambio en intensidad hacia la presencia de un punto de interés.
• Si Det(H) es pequeño, variaciones suaves o un borde, por lo que no se considera un punto clave

Filtro de Caja en SURF

• SURF computacional con la sustitución de segundas derivadas Gaussianas por filtros de caja.
• I_xx = I(x) * D_xx.
• I_yy = I(x) * D_yy.
• I_xy = I(x) * D_xy.
• Dxx, Dyy y Dxy son kernels discretos que reemplazan la Gaussiana por filtros de caja.

SURF y sus Imáganes Integrales

• Acelera el cálculo de filtros de caja con las imáganes integrales.
• Tiempo constante O(1).
• Detecta las características sea significativamente de los filtros, lo que hace que sea significativamente más rápida que en SIFT.

FAST (Features from Accelerated Segment Test)

• Método de detección de esquinas eficiente para aplicaciones en tiempo real.
• FAST identifica esquinas evaluando la intensidad de los píxeles en un círculo de 16 posiciones entorno a un píxel

Proceso de FAST

• Se elige un píxel p en la imagen con intensidad Ip.
• Se considera un círculo de 16 píxeles alrededor de p, conocido como círculo de Bresenham de radio 3.
• Cada píxel en el círculo se etiqueta del 1 al 16 en sentido horario.
• Criterio de Detección de Esquinas: debe existir un conjunto de N píxeles contiguos en el círculo más brillantes que Ip+t o más oscuros que Ip-t, siendo t un umbral predefinido.
• En la práctica, N es 12.
• Pruebas Rápidas: evalúan primero los píxeles 1, 5, 9 y 13 para descartar si no cumplen el criterio.
• Aprendizaje Automático: se entrena un clasificador en imágenes para determinar el orden óptimo de las pruebas.

Limitaciones del Algoritmo FAST

• FAST no detecta esquinas en imágenes generadas por computadora perfectamente alineadas con los ejes x, y.
• Requiere un anillo alrededor que incluya ambos bordes, fallando en imágenes nítidas.

BRIEF (Binary Robust Independent Elementary Features)

• No es un detector de características en sí mismo, sino un descriptor aplicado a puntos clave detectados por FAST o SIFT.
• Su objetivo principal es describir la vecindad de cada punto clave mediante un vector binario.
• Facilita comparaciones binarias rápidas entre características.

Proceso de BRIEF

• Preprocesamiento de la Imagen
• Suavizado con filtro Gaussiano para reducir ruido.
• Generación del Descriptor Binario:
• Definición de la Vecindad: Región cuadrada centrada en el punto clave (31x31 píxeles).
• Pruebas de Intensidad: Pares de píxeles aleatorios (pi,pj se comparan τ(pi, pj):
• τ(Pi, Pj)={ 1 Si I(Pi) < I(Pj), 0 En Caso Contrario}
• donde I(p) representa la intensidad del píxel p.
• Construcción del Vector Binario: Concatenar los resultados de las comparaciones en un vector de n bits.

Brief y sus Comparciones de Descriptores

• Empleada la Distancia de Hamming
• Computacional eficaz, permitiendo compraciones rápidas
• Eficiencia Computacional: Significantly más rápidas que descriptores como SIFT o SURF
• Facilidad De Implementación: El Algoritmo Es Decillo De Implementar Y Requiere Menos ReCursos Computacions:
• Sensibilidad A Transformaciones: BRIEF no es invariant A Rotaciones O Cambios de Estala. The TransformAClones Geométricas Pueden AcTar La Consistencia de Los DesCriptores
• Dependenca Del Detedor de Puntos Claves: Da CaldAd de Los DesGriptores BrEtT Depence En Grant Media:
• De la PreciSión Det Detector De Puntos clave Uulzado Preclamenze:
• ORB (Oriented FAST and Rotated BRIEF)

ORB (Oriented FAST and Rotated BRIEF)

• Implementado diseñado por Ethan Rublee y colaboradores
• Es FAST y BRIEF combinado,
• Invariancia a la rotación y resistencia al ruido.
• Detección De Puntos ClaveCon FAST Mejorado
• Aplicadón Del Delector FASTI: ORB Viliza Det Delor FAST Para IcentificAT Rápldamente Purios De inteses EN LA Imagen: Sin embargo,
• FAST no proporecona InfonmadON SobRE LE CAEnTaGIÓN De Los Puntos clave
• Supresón De RespueStes Multies Paras Abordar Las múlllples Delecciones ORE Endlea En Tlónca De Supros
• Sión De No Máximos Mon-Maximum Suppression Seledonnando tos Purios Con Las Respuesles Más Fientes Y Asegurano Une Disinbuon Mas uMOME De Los Puntos Clave
• Asignanón De Onentacón
• ODE Calula La orientacon De Cada Punto Clave Para Lograr Invariania A: LA rotnOON ESto SE Relda CallulanDO EL MOMEIMO DE InienSaDa En Une Vecincad CIRA Alrededor Del Pumo Glave Y Deleminane El angule Del vector Resullante:

Descripción De Puntos Glave Con BRIEF Mejorado

• Generacion de Dencriptores Befer en une vementane en el punto un vectores Benalio En Basa Do En Compraciones De Insidad entre pares deleonado Alenloen
• Decorelatacion en DesGriptores Para Mejoan Dinciminación Entse OesGriptives Y Reducir La correlación Entre En Uuilita Metou De Sprenditate Mo supervisada.

Conclusiones Sobre la Eficiencia y Robustez de Algoritmos

• SIFT y SURF son los más robustos y resistentes a ruido, pero SIFT es más lento.
• FAST y BRIEF sacrifican robustez y precisión, usados en aplicaciones de baja latencia.
• ORB es un a dispositivos móviles y en tiempo real.
• ORB o FAST+BRIEF Si se necesita mayor velocidad y menor carga computacional
• SIFT o SURF Si se necesita máxima precisión