Tema 7_Monitorización Video PDF

Monitorización Máster de formación permanente RTVE CONTENIDOS 1. Introducción. Calidad. 2. Monitorización Básica - Nivel de Señal. 3. Distorsiones y Calidad. 4. Herramientas 5. QoS. 6. QoE. 7. Evolución de los sistemas de monitorización - IA Definición de calidad de calidad...

Monitorización Máster de formación permanente RTVE CONTENIDOS 1. Introducción. Calidad. 2. Monitorización Básica - Nivel de Señal. 3. Distorsiones y Calidad. 4. Herramientas 5. QoS. 6. QoE. 7. Evolución de los sistemas de monitorización - IA Definición de calidad de calidad 1. loc. adj. Dicho de una persona o de una cosa: Que goza de estimación general. Calidad de vídeo – Percepción Calidad de vídeo – Percepción Para lograr una calidad de vídeo óptima con limitaciones de ancho de banda y potencia, las técnicas modernas de codificación de vídeo emplean esquemas de codificación con pérdida, que a menudo crean artefactos de compresión que pueden provocar una degradación de la calidad perceptual del vídeo. Comprender y cuantificar estos artefactos perceptivos es importante para el desarrollo de sistemas eficaces de compresión, transmisión y mejora de la calidad del vídeo. Además, las características de los artefactos de compresión evolucionan con el tiempo debido a la continua adopción de nuevas estructuras y estrategias de codificación durante el desarrollo de nuevos estándares de compresión de vídeo. Monitorización Preguntas para reflexionar: - ¿Es suficiente con ver una señal para entender si existe un problema o no? - ¿Cómo equilibrar precisión técnica y costo en monitorización? - ¿Qué tan relevante es la percepción subjetiva (QoE) frente a métricas técnicas (QoS)? - ¿Qué papel juegan tecnologías emergentes (IA, 5G) en la monitorización futura? Definición y Tipos de Monitorización La monitorización de señales audiovisuales consiste en la supervisión técnica y perceptual de contenidos audiovisuales, garantizando la calidad en producción, transmisión y experiencia del usuario. Tipos de monitorización: - Técnica: Analiza parámetros de señal como luminancia, crominancia, y/o de la red latencia y pérdida de paquetes. - Subjetiva: Evalúa la percepción del usuario final (QoE). - Integrada: Combina métricas técnicas y perceptuales en sistemas avanzados. Calidad AV -> Calidad de la Experiencia Poco Texto Monitorización Básica - Nivel de Señal Los instrumentos básicos para monitorizar señales audiovisuales incluyen: Monitor de forma de onda: Evalúa niveles de luminancia y crominancia. Vectorscopio: Analiza matiz y saturación del color. Patrones de prueba: Verifican fidelidad de reproducción. Estas herramientas permiten detectar problemas técnicos como: Sobreexposición y subexposición. Desalineación de colores. Clipping en niveles altos o bajos. BRILLO El brillo es la intensidad promedio de los niveles de luminancia en una imagen. Donde: M y N son las dimensiones de la imagen. I(x,y) es el nivel de intensidad en el píxel (x, y). CONTRASTE El contraste mide la variación de los niveles de intensidad con respecto al brillo promedio. Donde: B es el brillo promedio calculado previamente. C es la desviación estándar de los valores de intensidad. BRILLO Y CONTRASTE CROMÁTICO Brillo y Contraste para Crominancias Cr y Cb En el espacio de color YCbCr, las crominancias Cr y Cb indican variaciones de color rojo y azul. TINTE, SATURACIÓN Y BRILLO Componentes del Espacio HSV Se representa con un cono De RGB a HSV: Equipos de monitorización de señal Equipos de monitorización de señal Monitor Forma de Onda Función: MFO visualiza los niveles de luminancia y crominancia de una señal. Utilidades: Verificar niveles de brillo y contraste. Detectar sobreexposición y subexposición. Calibrar señales de vídeo para estándares de broadcast. Equipos de monitorización de señal Color Parade Función: Muestra los niveles de cada componente (R, G, B o Y, Cb, Cr) de la señal. Utilidades: Analizar la distribución de color. Detectar desalineación de crominancia. Ajustar colores en procesos de corrección. Equipos de monitorización de señal Vectorscopio Función: Mide el matiz y la saturación de los colores en una señal de vídeo. Utilidades: Verificar la alineación de colores en el espectro cromático. Detectar saturaciones excesivas o colores apagados. Calibrar señales para estándares de color (como Rec. 709.) Equipos de monitorización de señal Monitor Grado 1 Un monitor de Grado 1 es un dispositivo de referencia que ofrece la mayor precisión en la representación de la señal de vídeo. Es el estándar en entornos de color grading y evaluación técnica profesional. Características Técnicas: 1.Fidelidad de color: Representación exacta del espacio de color (ej., Rec. 709, Rec. 2020). 2.Uniformidad: Iluminación uniforme en toda la pantalla sin variaciones notables. 3.Resolución y profundidad de bits: Alta resolución (4K/UHD) y mínimo 10 bits por canal de color. 4.Relación de contraste: Alta relación de contraste para asegurar precisión en sombras y luces altas. 5.Gamma: Capacidad de emular múltiples curvas de gamma (ej., BT.1886). 6.Calibración: Precisión constante mediante calibración regular. Aplicaciones: Color grading en producciones cinematográficas y televisivas. Control técnico en estudios de postproducción. Validación de material para entrega en plataformas OTT. Equipos de monitorización de señal Monitor Grado 2 Un monitor de Grado 2 es un dispositivo de referencia secundaria utilizado en tareas de supervisión general de señales de vídeo. Aunque ofrece buena calidad, no alcanza la precisión de los monitores de Grado 1. Características Técnicas: 1.Fidelidad de color: Representación adecuada del espacio de color, pero menos precisa que un Grado 1. 2.Uniformidad: Uniformidad aceptable, con ligeras variaciones en el brillo y color. 3.Resolución y profundidad de bits: Resolución HD o superior, generalmente con 8 o 10 bits por canal. 4.Relación de contraste: Menor que los monitores de Grado 1, aunque suficiente para supervisión estándar. 5.Gamma: Capacidad básica para soportar perfiles gamma comunes. Aplicaciones: Supervisión en estudios de producción. Monitoreo en sets de grabación. Evaluación preliminar de material grabado. Equipos de monitorización de señal Monitor Grado 1 vs Monitor Grado 2 Ventajas Grado 1: Máxima precisión para decisiones críticas de color. Cumplimiento estricto de estándares internacionales. Ventajas Grado 2: Más accesible económicamente que un monitor de Grado 1. Suficiente para tareas de monitoreo general. Desventajas Grado 1: Costo elevado debido a su tecnología avanzada. Mayor sensibilidad a entornos mal iluminados. Desventajas Grado 2: Menor precisión en representación de color y contraste. No recomendado para decisiones críticas de calidad. QoS La Calidad de Servicio (QoS) es un conjunto de técnicas y parámetros que garantizan la entrega eficiente y confiable de contenido audiovisual a través de redes de transmisión. Su objetivo principal es asegurar que el rendimiento de la red cumpla con los requisitos del servicio solicitado. Ancho de Banda: Capacidad de transmisión de datos en la red. Asegura un flujo constante de datos para servicios como streaming. Latencia: Tiempo que tarda un paquete en viajar desde el emisor al receptor. Latencias bajas son esenciales para evitar retrasos en vídeo en tiempo real. Jitter: Variación en el tiempo de entrega de los paquetes. Impacta la calidad de vídeo al generar fluctuaciones. Pérdida de Paquetes: Porcentaje de datos que no llegan al destino. Altos niveles de pérdida resultan en artefactos visuales o interrupciones. Disponibilidad: Garantiza que el servicio esté operativo y accesible. QoS Estándares Relevantes: 1.ITU-T G.1010: Establece métricas de QoS específicas para aplicaciones multimedia. 2.ETSI TR 101 290: Parámetros para la supervisión de QoS en servicios de transmisión de televisión digital. 3.ISO/IEC 23001-8: Define métricas de evaluación de calidad en sistemas de transmisión adaptativa (DASH). Aplicaciones de QoS: Transmisión de contenido en plataformas OTT (Netflix, YouTube). Videoconferencias en tiempo real. Juegos en línea donde la estabilidad de la conexión es crítica.  QoE - Definición ITU: Aceptabilidad global. Extremo a extremo. Influencia de expectativas del DEFINICIÓN usuario y contexto DE QoE Experiencia de usuario, usabilidad ETSI QoE es una medida de la apreciación del usuario basada en medidas psicológicas objetivas y subjetivas del uso de un servicio de TIC QUALINET Es el grado de deleite o molestia del usuario de una aplicación o servicio  QoE – Definición Calidad de experiencia Calidad de Componentes servicio humanas Factores de servicio Factores de trasporte Factores de aplicación Emociones … Experiencia  Sistemas de Monitorización Observar Buscar Analizar Medición Seguimiento de Control para planificada y determinada actividad la toma de sistemática de decisiones determinados Valor indicadores Añadido  Incidencias Sistemas de Calidad del contenido Monitorización Consumo Presencia en medios Reputación Impacto  Sistemas de Monitorización 6 últimos capítulos (T8) Juego de Tronos HBO 240 M$ QoE -> escenas difíciles de ver, colores desteñidos y artefactos de imagen, especialmente evidentes en las pantallas de televisión grandes. Sistemas de Monitorización Contenido premium Expectativas de espectadores muy altas Gran repercusión de problemas Objetivo: Fidelizar e involucrar (conectar emocionalmente al consumidor) Calidad de la Experiencia del Usuario (QoE) Sistemas de Monitorización Industry studies show that as many as 33% of users leave a stream due to poor streaming quality. Verizon estimates that OTT video services delivering average or poor- quality experiences account for as much as 25% loss in revenue. Distorsiones de vídeo Los artefactos espaciales se refieren a las distorsiones que pueden observarse en cuadros de imagen, mientras que los artefactos temporales sólo pueden verse durante la reproducción del vídeo. Distorsiones espaciales Los esquemas de codificación de vídeo basados en bloques crean diversos artefactos espaciales debidos a la partición y cuantificación de los bloques. Estos artefactos incluyen desenfoque, efecto de bloque (blocking), ringing, efecto de patrón de base y sangrado de color (color bleeding). Se detectan sin necesitar fotogramas temporalmente vecinos (por lo que pueden identificarse mejor cuando el vídeo está en pausa). Debido a la complejidad de las técnicas de compresión modernas, estos artefactos están interrelacionados entre sí, y la clasificación se basa principalmente en su aspecto visual. Sobreexposición Definición: Áreas de la imagen que son demasiado brillantes, perdiendo detalle en las luces altas. Cálculo: Detecta píxeles con niveles de luminancia por encima de un umbral T_high (ej., 240 en escala de 0-255). Subexposición Definición: Áreas de la imagen que son demasiado oscuras, perdiendo detalle en las sombras. Cálculo: Detecta píxeles con niveles de luminancia por debajo de un umbral T_low (ej., 10 en escala de 0-255). Bajo Contraste y Baja Saturación Definición: La imagen aparece plana y sin vida, con niveles de brillo y saturación insuficientes. Cálculo: Evalúa la desviación estándar de luminancia (contraste) y los valores de saturación promedio. Saturación Muy Alta Definición: Colores excesivamente vibrantes que parecen irreales. Cálculo: Detecta píxeles con valores de saturación por encima de un umbral T_high_saturation (ej., 0.9 en escala de 0-1). Saturación Muy Baja Definición: Colores apagados o desaturados, con apariencia casi monocromática. Cálculo: Detecta píxeles con valores de saturación por debajo de un umbral T_low_saturation (ej., 0.1 en escala de 0-1). Banding Definición: Transiciones de color en gradientes suaves aparecen como bandas visibles. Cálculo: Calcula diferencias discretas en niveles de color en gradientes; el conteo de bandas indica el problema.  Blurring Los métodos modernos de compresión de vídeo implican un paso de transformación de frecuencia seguido de un proceso de cuantificación que suele eliminar los coeficientes de transformación de pequeña amplitud. Dado que la energía de las señales visuales naturales se concentra en las frecuencias bajas, la cuantificación reduce la energía de las frecuencias altas en dichas señales, lo que provoca un importante efecto de desenfoque en las señales reconstruidas. Desde el punto de vista perceptivo, el desenfoque suele manifestarse como una pérdida de detalle espacial o de nitidez en los bordes o en las regiones de textura de la imagen. Blurring  Blurring Esta métrica consiste en convolucionar cada imagen de vídeo con el operador Laplaciano y obtener el valor de varianza. De esta manera, la varianza representa cómo de emborronada se encuentra la imagen de vídeo. Dicho de otra manera, cómo de nítida es una imagen de vídeo. Operador Laplaciano. Filtro: Blocking Se observa con frecuencia en el vídeo reconstruido producido por los estándares de compresión de vídeo, que utilizan bloques de varios tamaños como unidades básicas para la transformación de frecuencia, cuantificación y estimación/compensación del movimiento, lo que produce falsas discontinuidades en los límites de los bloques. El efecto mosaico es muy visible y molesto para el sistema visual, donde el efecto de enmascaramiento visual (que significa la visibilidad reducida de un componente de la imagen debido a la existencia de otro componente de imagen vecino) especialmente en las regiones lisas. Aunque todos los efectos de blocking se generan por motivos similares, su aspecto visual puede ser diferente, dependiendo de la región en la que se produzca el teselado o mosaico. Por lo tanto, se clasifican los efectos de blocking en tres subcategorías. Blocking El efecto mosaico suele producirse cuando hay transiciones de luminancia en grandes regiones de baja energía (por ejemplo, paredes, pizarras blancas/negras y superficies de escritorios). Debido a la cuantificación dentro de cada bloque, casi todos los coeficientes de CA están cuantificados a cero, por lo que cada bloque se reconstruye como un bloque de CC constante, en el que los valores de CC varían de un bloque a otro. Cuando se juntan todos los bloques, el efecto mosaico se manifiesta como un cambio brusco de luminancia de un bloque a otro en todo el espacio. Blocking El efecto escalera suele producirse a lo largo de una línea diagonal o curva que, al mezclarse con los falsos bordes horizontales y verticales falsos en los límites de los bloques, crea estructuras de escalera falsas. Un borde falso es un borde no real que aparece cerca de un borde auténtico. Suele crearse por una combinación de la predicción entre cuadros basada en la estimación/compensación del movimiento y el blockiness en el fotograma anterior, donde el blockiness en el cuadro anterior se transforma en el cuadro actual mediante la compensación del movimiento en un borde no real. Blocking Esta métrica cuantifica la presencia de bloques cuadrados, de color uniforme, a nivel de codificación (a nivel de Transformada Discreta del Coseno – DCT)  Ringing Las transiciones nítidas en las imágenes, como los bordes y las líneas fuertes implican altas frecuencias y el uso de los coeficientes altos de la DCT. El proceso de cuantificación provoca la pérdida parcial o la distorsión de estos coeficientes. Cuando los coeficientes restantes se combinan para reconstruir los bordes o las líneas, se crean “estructuras artificiales onduladas” en las regiones cercanas, conocidas como artefactos de ringing. Estos artefactos son más significativos cuando los bordes o líneas son nítidos y fuertes, y cuando las regiones cercanas a los bordes o líneas son suaves, donde el efecto de enmascaramiento visual es más débil. Ringing Ringing Métrica que se utiliza para la detección de bordes “espurios” que se producen cerca de bordes principales. Esta métrica cuantifica la presencia de ringing en una imagen. La métrica hace uso de imágenes de bordes y operaciones morfológicas en procesamiento de imágenes (dilatación, eliminación y matching) para cuantificar la presencia de esos bordes “espurios”. Basis pattern effect El origen del BPE es similar al del ringing, pero las regiones espaciales en las que se produce el efecto no se limitan a bordes o líneas nítidas. En determinadas regiones de textura con energía moderada, cuando se cuantifican los coeficientes de transformación, existe la posibilidad de que sólo quede un coeficiente de transformación (mientras que todos los demás coeficientes son cero o casi cero). Cuando la señal de imagen se reconstruye utilizando un único coeficiente, el patrón de base (por ejemplo, una base DCT) asociado con el coeficiente se crea como una representación de la estructura de la imagen. Basis pattern effect Color Bleeding El sangrado de color es el resultado de una representación incoherente de la imagen en los canales de luminancia y crominancias. (Cb y Cr tienen generalmente menos resolución que Y en las dimensiones horizontal y vertical). Tras la compresión, todos los canales de luma y cromas presentan diversos tipos de distorsiones y, lo que es más importante, estas distorsiones son incoherentes entre los canales de color. Además, debido a la menor resolución de los canales cromáticos, los procesos de renderizado implican inevitablemente operaciones de interpolación, lo que da lugar a una dispersión del color incoherente adicional en el resultado del renderizado. Color Bleeding  Complejidad en la imagen Información espacial: Medida que indica la cantidad de detalles espaciales que hay en una imagen. Cuanto mayor es el valor de esta métrica, mayor es el nivel de detalle (altas frecuencias) de la imagen. Recomendación UIT-P 910 Cálculo de la métrica: Utilización del operador de Sobel para el cálculo del gradiente de intensidad de una imagen en cada uno de los píxeles. De esta manera, se muestran los cambios en cada uno de los píxeles y la probabilidad de que estos cambios representen un borde en la imagen. https://www.itu.int/rec/dologin_pub.asp?lang=s&id=T-REC-P.910-202207-I!!PDF- E&type=items Distorsiones temporales Los artefactos temporales se refieren a aquellos efectos de distorsión que no se observan cuando el vídeo está en pausa sino durante reproducción del vídeo. Los artefactos temporales interesan especialmente por dos razones: Evolucionan de forma más significativa con el desarrollo de las técnicas de codificación de vídeo. La evaluación objetiva de estos artefactos es más difícil. Flickering El artefacto de parpadeo se refiere generalmente a cambios frecuentes de luminancia o crominancia a lo largo de la dimensión temporal que no aparecen en el vídeo de referencia sin comprimir. Se puede dividir en tres subcategorías basadas en la frecuencia y las ubicaciones espaciales donde se produce el flickering: Mosquito noise Fine-granularity flickering (granularidad fina) Coarse-granularity flickering (granularidad gruesa). Flickering El ruido de mosquito es un efecto conjunto del movimiento del objeto y de artefactos espaciales variables en el tiempo cerca de los límites nítidos del objeto. Tanto el ringing como el error de predicción del movimiento se aprecian en las regiones cercanas a los límites de los objetos. Cuando los objetos se mueven, estos artefactos variables en el tiempo y similares al ruido se mueven junto con los objetos, por lo que parecen "mosquitos" volando alrededor de los objetos. Flickering El flickering de granularidad gruesa se refiere a cambios repentinos de luminancia de baja frecuencia en grandes regiones espaciales que pueden extenderse a todo el cuadro. La razón más probable de este parpadeo es el uso de estructuras de grupo de imágenes (GoP) en las técnicas estándar de compresión de vídeo. Flickering El flickering de granularidad fina suele observarse en grandes regiones de energía baja a media con un blocking significativo y movimiento lento. En estas regiones, se produce un efecto de blocking significativo en cada cuadro y, debido a las variaciones en cada cuadro (por el movimiento y/o detalles de textura), los niveles de blocking y los valores de DC en los bloques correspondientes cambian cuadro a cuadro, y las regiones parecen parpadear a altas frecuencias. Jerkiness & Floating Jerkiness se produce cuando la resolución temporal no es lo suficientemente alta como para alcanzar la velocidad de los objetos en movimiento, por lo que el movimiento del objeto parece discontinuo. Floating se refiere a la aparición de un movimiento ilusorio en determinadas regiones en contraposición al fondo que las rodea. El movimiento ilusorio es erróneo porque se supone que estas regiones permanecen o se mueven junto con el fondo.  Complejidad en la imagen Información temporal: Medida que indica la cantidad de cambios temporales de una secuencia de vídeo. El valor de esta métrica es mayor en secuencias con mucho movimiento. Recomendación UIT-P 910 Cálculo de la métrica: Diferencia entre imágenes consecutivas para cuantificar la diferencia y determinar la cantidad de movimiento. Otras distorsiones Además de estos artefactos, existen otros artefactos perceptuales de vídeo que suelen verse en aplicaciones de comunicaciones visuales del mundo real. Entre ellos se incluyen los artefactos generados durante la adquisición : ruido de cámara, desenfoque de movimiento de cámara y fluctuación (jittering) de línea/cuadro, La transmisión (en redes propensas a errores): congelación (freezing) de vídeo, fluctuación (jittering) y bloques descodificados erróneamente causados por la pérdida y el retraso de paquetes El postprocesamiento y la visualización de vídeo: post desblocking y filtrado de ruido, escalado espacial, retargeting, aberración cromática y distorsión de cojín (pincushion distortion). Evaluación de Calidad Dos categorías: Subjetiva y Objetiva Subjetiva -> Valoración directa de observadores Objetiva -> Valoración automática mediante algoritmos matemáticos Modelos de medida subjetivos Estándares de medida de calidad de video subjetiva La Unión Internacional de Telecomunicaciones (UIT) ha creado varias recomendaciones que describen cómo han de realizarse las pruebas subjetivas. Desde la primigenia BT.500 que presenta un conjunto de modelos para un entorno altamente controlado para calificar la calidad de video hasta la P.913 que se centra en la evaluación de pantallas planas, portátiles y dispositivos móviles y que enfatiza la flexibilidad del entorno. Hay que adaptarse a cómo se consumen los contenidos Modelos de medida subjetivos Sistemas de Evaluación Efecto de la introducción de referencia oculta Métodos de medida objetivos La evaluación subjetiva de la calidad proporciona resultados fiables de la calidad de la percepción humana. No se puede aplicar en la evaluación de la calidad de un servicio en tiempo real. Los métodos objetivos de evaluación de la calidad han sido desarrollados para reemplazar el panel humano por un modelo computacional para predecir los resultados de una prueba subjetiva. Métodos de medida objetivos Familias de medidas objetivas Métodos de medida objetivos Modelos de Evaluación Categorías de los modelos objetivos Los métodos de medición objetiva de la calidad se clasifican en cinco categorías principales según el tipo de datos de entrada que se utilicen para la evaluación de la calidad. Pueden desarrollarse siguiendo tres esquemas en función de la disponibilidad de la señal de referencia. Referencia completa (FR) Referencia reducida (RR) Sin referencia (NR) Modelos de medida objetivos Sistemas de Evaluación Categorías de datos objetivos Evaluación de Calidad Diagrama de soluciones Modelos de medida subjetivos Pruebas subjetivas: Usuarios legos en la materia Entorno controlado Ajustadas a normativas internacionales Se recogen calificaciones de calidad percibida por los sistemas auditivos y/o visuales humanos Análisis de QoE Factores Calidad de experiencia Calidad de servicio Componentes humanas Factores de servicio Factores de trasporte Factores de aplicación Emociones … Experiencia Análisis de QoE Factores CALIDAD DE LA EXPERIENCIA Contenido SISTEMA Características del servicio Red Dispositivo Espacio-temporales CONTEXTO Socio-económicas Modo de consumo USUARIO Perfil demográfico Hábitos de consumo Análisis de QoE Quality of Indicadores Percepción Experience Subjetivos Humana (QoE) Contenido y servicio Indicadores Objetivos Calidad del Evaluación del Dispositivo Contexto Sistema (Parámetros) (QC) Red de Transporte (QoS) Análisis de QoE Modelado Determinar qué componentes tendrán impacto sobre la valoración de un sistema para la provisión de servicios con contenido multimedia Obtener para ello una serie de parámetros relevantes (KPIs) Análisis de QoE Modelos Nitidez Híbridos Complejidad Latencia Modelado Calidad de Contenido AUDIOvisual Pérdidas Distorsiones Congelados Interés de Contenido Qué consumimos? QoE Interacción Hombre ¿Cómo consumimos? -Maquina QoS Red Plataforma de consumo Dispositivo Muchas gracias