Tecnicas_Streaming_parte3

Transporte de señal audiovisual en explotación: Técnicas de streaming

• Técnicas para streaming de señal audiovisual en explotación
• Sesión 3 trata los elementos esenciales para la transmisión en streaming.

Arquitectura del Streaming

• Proceso que incluye captación, codificación, almacenamiento, comunicación y reproducción
• La captación y el tratamiento se realizan sobre audio y video
• La codificación y transcodificación las realiza un encoder
• El almacenamiento y entrega se aplica a Live Streaming y VOD(Video On Demand) Streaming
• La comunicación se establece por internet o intranet
• La reproducción se realiza en SmartTVs, PCs y Smartphones

Reducción del Bitrate

• El bitrate sin comprimir es excesivamente grande para transmisión y almacenamiento
• La reducción de datos es importante para mantener la calidad adecuada, según el entorno
• El balance entre calidad y tamaño varía según el entorno de aplicación
• Entornos de grabación y postproducción usan baja compresión
• Para transmisión al público general usar alta compresión

Consideraciones por Entorno

• Para el entorno de producción se usa menor compresión y preservación de calidad para edición
• Para la distribución al público, se usa mayor compresión y optimización de transmisión
• La relación bitrate/calidad es el objetivo clave en toda estrategia

Factores Económicos

• A mayor ancho de banda, mayor costo de contratación
• Es importante considerar el costo de contratación de líneas de datos con operadores
• También en la comunicación entre edificios o campus empresariales
• Los requisitos de ancho de banda y consumo de datos varían según la calidad del video

Aplicaciones de Alto Consumo

• Videoconferencias, telefonía IP, visualización de videos y E-learning son aplicaciones de alto consumo
• El resultado del alto consumo puede ser Sobredimensionamiento de infraestructuras y costos adicionales en tarifas de datos

Impacto en Almacenamiento

• Afecta las transferencias a discos duros, tarjetas de memoria o cabinas.
• Alto rendimiento para grabación en tiempo real.
• Reduce los costos de sistemas de almacenamiento

Impacto en Capacidad de Almacenamiento

• Un ejemplo de esto en video HD 1080p sin comprimir necesitas 208 MB/seg y 1 hora ≈ 750 GB
• La reducción del bitrate aumenta significativamente la capacidad de almacenamiento disponible

Estrategias de Reducción de Bitrate

• Señal de video es el enfoque principal (500:1 respecto al audio)
• Técnicas principales incluyen submuestreo de componentes de color, entrelazado y reducción de resolución
• También ajuste de tasa de frames, profundidad de bits y compresión de la señal

Submuestreo de Componentes de Color

• Técnica que reduce la información en componentes Cb y Cr
• No presenta un impacto visual significativo aparente en la calidad percibida
• Comparativa: 4:2:2 vs 4:2:0 con ratio de reducción: 1.33:1 (25% menos información)
• Ejemplo: 1920×1080@50p (4:2:2): 1658 Mbps a 1244 Mbps (4:2:0)

Resolución de Imagen

• Sub-escalado de la imagen a definiciones inferiores manteniendo la relación de aspecto
• Se adapta al dispositivo/medio de reproducción
• Comparativa: De 1920×1080 a 1280×720, el ratio de reducción es 2.44:1 (53% menos datos)
• Ejemplo: 1658 Mbps se reduce a 737 Mbps

Tasa de Frames por Segundo

• Reduce el número de imágenes por segundo (fps)
• Optimiza la transmisión sin perder fluidez, pero en contenidos con movimiento rápido, la reducción de fps puede degradar la calidad de la trasmisión
• Comparativa: De 50 fps a 25 fps. Ratio de reducción: 2:1 (50%)
• Ejemplo: 1658 Mbps se reduce a 829 Mbps

Entrelazado en el escaneo de la imagen

• Genera sub-imágenes alternando líneas pares con líneas impares
• Permite reducir el ancho de banda necesario para la transmisión
• No se usa en streaming, ya que el entrelazado puede afectar la calidad percibida en contenido con movimiento rápido
• Comparativa: formato progresivo → Formato entrelazado. 50 imágenes completas → 50 sub-imágenes
• Ratio de reducción: 2:1 (50%)
• Ejemplo: 1658 Mbps baja a 829 Mbps

Profundidad de Bits

• Reduce la profundidad de color de 10 bits a 8 bits manteniendo la resolución
• Se nota en imágenes con degradados (efecto banding) y un espacio de color mas reducido
• La técnica es habitual en almacenamiento y transmisión
• Comparativa: De 10 bits a 8 bits en 1920×1080 con 4:2:2, el ratio de reducción es 1.25:1 (20%)
• Ejemplo: Reducción de 2074 Mbps a 1658 Mbps

Compresión de la Señal de Video

• La definición de la técnica es reducción de datos eliminando información redundante
• Compresión espacial: reducción dentro de cada imagen independiente
• Compresión temporal: comparación entre imágenes consecutivas
• El resultado es la reducción considerable del tamaño con posible impacto en calidad cuando la compresión es alta

Estrategia Optima

• Una combinación de múltiples técnicas
• Evaluación constante de relación calidad/bitrate
• Adaptación a requisitos específicos de distribución, almacenamiento y transmisión

Garantía de Calidad

• Incluye pruebas perceptuales, monitoreo de calidad subjetiva y optimización continua de parámetros

Resumen de la reducción de Bitrate

• El balance bitrate/calidad es fundamental
• La selección de las técnicas deben seleccionarse según contexto
• La percepción del usuario final determina el nivel aceptable de compresión
• La tecnología de compresión evoluciona constantemente

Compresión de Contenido Audiovisual

• Reduce la cantidad de datos manteniendo la calidad necesaria según el uso.
• Reduce la cantidad de datos a almacenar y el ancho de banda a utilizar para transmitir las imágenes en movimiento
• En entornos multimedia se utilizan habitualmente los algoritmos de compresión con pérdidas.

Resumen de la compresión de Contenido Audiovisual

• Base teórica: Teoría de la información
• Entropía: Información fundamental sin la cual es imposible reconstruir el mensaje
• Información redundante: Datos de los que se puede prescindir

Características de la Compresión

• La compresión de video reduce la cantidad de datos a almacenar y el ancho de banda a utilizar para transmitir las imágenes en movimiento
• El tipo de compresión y el ratio de reducción dependerán del tipo de servicio o aplicación donde vaya a utilizarse
• En entornos de consumo (DVD, TDT, streaming, etc.) suele utilizarse una compresión muy alta con baja tasa binaria
• En entornos de grabación y almacenamiento de centros de producción de televisión se utiliza un ratio de compresión menor con alta tasa binaria

Fidelidad de los datos

• Métodos sin pérdidas (lossless): la información descomprimida es exactamente igual a la que había antes de comprimir
• Métodos con pérdidas (lossy): la información descomprimida tiene alguna modificación, pero esta es imperceptible para la percepción humana
• Este es el método usado para comprimir imágenes, vídeo y audio, ya que esta pérdida es tolerable, aprovechando las características psicológicas del sistema auditivo y visual del ser humano
• Los algoritmos de compresión con pérdidas se utilizan habitualmente en entornos multimedia

Carga Computacional

• Simétricos: La carga computacional es ligeramente mayor en compresión que es descompresión
• Asimétricos: La carga computacional es mucho mayor en compresión que en descompresión
• Se utiliza predominantemente compresión asimétrica porque hay muchos más usuarios descomprimiendo contenido
• Esta asimetría permite fabricar decodificadores a bajo costo mediante economías de escala, pero los algoritmos que logran mayor compresión típicamente requieren más potencia de procesamiento (CPU)

Frecuencia de Bits

• Velocidad de bits constante (CBR): genera un bitrate constante a la salida del codificador.
• Se recomienda su uso cuando el ancho de banda de la infraestructura de red sea limitado.
• Un inconveniente es que la calidad de la imagen no será constante, ya que en escenas con mucho movimiento la calidad bajará al limitar el bitrate.
• Velocidad de bits variable (VBR): tiene en cuenta la calidad de la escena.
• El bitrate se convierte en variable en función del contenido de la escena.
• El bitrate es inferior en imágenes estáticas y superior en imágenes con mucha variabilidad y movimientos.
• La infraestructura de red debe estar dimensionada para una carga de actividad suficiente en caso de picos de transmisión de bits.

Herramientas de Codificación

• VLC: Reproductor y codificador de audio/video
• Handbrake: Codificador y transcodificador de ficheros, con soporte para formatos actuales y multiplataforma
• FFmpeg

Compresión Espacial y Temporal

• En la señal de video se debe tener en cuenta que además de existir las dos dimensiones de la imagen x,y existe una tercera dimensión temporal con la secuencia de imágenes a lo largo del tiempo

Tipos de Compresión

• Compresión Espacial (Intra-Frame)
• Compresión Temporal (Inter-Frame)

Compresión Espacial (Intra-Frame)

• Aprovecha redundancia dentro de cada imagen independientemente, codificando superficies y texturas uniformes con información similar
• Un píxel significativo representa un conjunto, el resto como diferencias
• Ventajas: bajo retardo de procesamiento y menor complejidad computacional
• Desventajas: bajo ratio de compresión
• Ejemplo: Motion JPEG (MJPEG)

Compresión Temporal (Inter-Frame)

• Aprovecha redundancia entre imágenes de una secuencia, localizando y codificando solo las partes que cambian entre imágenes
• Proceso: divide imagen en macrobloques, estima vectores de movimiento, realiza predicción de imágenes y codifica solo diferencias entre imágenes reales y que se van prediciendo
• Ventajas: alto ratio de compresión
• Desventajas: mayor retardo de procesamiento y mayor carga computacional
• Ejemplo: MPEG-2, H.264. H265, VP9, AV1; se comparan las imágenes sucesivas con una imagen de referencia codificando solo los pixeles que han cambiado en referencia a esta

Estructura GOP (Group of Pictures)

• Es necesario para la compresión temporal para definir un grupo de imágenes, que especifica el orden en el que los diferentes tipos de imágenes son ubicadas
• Cada stream de video codificado contiene sucesivos GOP que posteriormente se representarán en el reproductor de forma inversa

Tipos de Frames en GOP

• Frame I (Keyframe): Imagen de referencia independiente con compresión espacial que contiene más información y bits
• Frame P (Predicción): Información de diferencia sobre frame anterior (I o P) que aplica compensación de movimiento, requiere menos bits que frames I y es sensible a errores de transmisión
• Frame B (Predicción Bidireccional): Usa valores medios de imágenes precedentes y posteriores. aumenta latencia de procesamiento pero proporciona mayor ratio de compresión

Funcionamineto de GOP

• Solo se almacenan o transmiten las imágenes I y P, mientras que el sistema de visualización se encarga de completar las imágenes P sumando su información a la imagen I precedente y generando las imágenes B.
• Estructura típica: Frames I al inicio de la secuencia seguidos de tipo P y B. Los de tipo P son predichos a partir de los frames I mientras que los de tipo B se intercalaban entre los de tipo I y P.

Parametros en estructura GOP

• La secuencia se indica con dos números M y N. El número M indica la distancia entre frames I o P, y N indica la longitud total de la secuencia GOP, o sea el número de frames entre dos frames de tipo I.

Consideraciones de GOP

• El tamaño influye en tiempo de codificación y ratio de compresión
• GOPs largos con muchos frames B aumentan latencia
• Crítico en transmisiones en directo
• Más frames I facilitan corrección de errores pero aumentan tamaño
• Videos streaming Internet: secuencias largas de GOP para ahorro de ancho de banda

Algoritmos, Codecs y Contenedores

• Proceso de Compresión: definido como codificación o encoding
• Una vez comprimido el audio y el video se obtendrá un fichero o un stream, preparados para ser almacenados o transmitidos
• Proceso de Descompresión: visualización del fichero comprimido con algoritmos inversos
• El audio y video obtenido es prácticamente igual con el mismo contenido que el original

Diferencias Importantes

• Algoritmos de codificación
• Códecs
• Contenedores
• En ocasiones se confunden o integran estos términos en uno solo

Algoritmo de Codificación: Especificación

• Son estándares donde se definen las reglas y operaciones matemáticas que llevan a cabo la codificación y decodificación de la información de audio y video digital
• Ejemplos: MPEG-2, MPEG-4, H.264 y VP9

Codec (Codificador/Decodificador)

• Implementación de un programa informático concreto que se encarga de aplicar las reglas y operaciones matemáticas de un algoritmo de codificación
• La implementación de un códec puede ser más eficiente en un desarrollo de un fabricante o de librerías software que en otro.
• Ejemplos: QuickTime H.264, x264, Fraunhofer IIS H.264

Formato Contenedor

• Estándares para la distribución o almacenamiento de un determinado contenido multimedia
• En los contenedores de video se incluye contenido de video y audio, datos de subtítulos, menús y metadatos
• Ejemplo: MP4 fichero de video

Flujos de Trabajo

• El contenedor se genera incluyendo cualquier tipo de datos (video comprimido, audio comprimido, subtítulos, código de times, etc.)
• Se utiliza el códec para generar el tipo de datos
• Se distribuye ya sea como Live Streaming o VOD
• El contenedor se envía al reproductor
• Se obtiene el contenido original y el códec lo decodifica para reproducirse en pantalla o altavoces

Compatibilidad

• Los códecs en video que implementan diferentes estándares no suelen ser compatibles entre sí
• No se podrá decodificar con cualquier otro códec
• Ejemplo: Un decodificador de tipo MPEG-2 no funcionará con un archivo codificado en H.264

Coexistencia

• Equipos software/hardware utilizan diversos algoritmos de codificación/decodificación.
• Existe la coexistencia de formatos en un sistema.
• Un reproductor moderno implementa múltiples codecs

Diferencias Clave

• Algoritmo: Estándar, reglas matemáticas (H.264)
• Códec: Implementación específica del algoritmo (x264, QuickTime H.264)
• Contenedor: Formato que empaqueta audio, video y metadatos (MP4, MKV)

Formatos de Codificación de Video

• Los formatos de codificación de video más utilizados son H.264 / MPEG-4 parte 10 / AVC, H.265 (HEVC), H.266 (VVC), VP9, AV1 (AOMedia Video 1) y AV2 (AOMedia Video 2)

H.264 / MPEG-4 parte 10 / AVC

• Especificación de codificación con licenciamiento de tipo propietario
• Diseñada específicamente para video en alta definición, logra una buena relación entre la calidad de imagen y el ahorro de espacio
• Características principales: Reduce a la mitad el ancho de banda o el tamaño de almacenamiento respecto a MPEG-2, mantiene una calidad de imagen similar, presenta ligero aumento de la complejidad de codificación y es ampliamente utilizado

H.265 (HEVC)

• Formato de codificación de video con licenciamiento de tipo propietario, requiere el pago por parte de los fabricantes de hardware y software
• Reduce a la mitad el bitrate respecto a H.264 sin pérdida aparente de calidad
• Características principales: Resolución máxima 8K UHD (8192 × 4320), tasa de imágenes hasta 300 fps, usa técnicas de compresión espacial y temporal y cambia el tamaño de acuerdo a la textura
• La mayoría de dispositivos multimedia lo soportan de forma nativa, utiliza 35 algoritmos de predicción
• Mayor eficiencia en codificación e implica una mayor capacidad computacional en el decodificador
• Aumenta la latencia del contenido en tiempo real

H.266 (VVC - Versatile Video Coding)

• Formato de última generación lanzado en 2020, es el sucesor de H.265 y mantiene el modelo de licenciamiento propietario
• Ventajas principales: Reduce aproximadamente el 50% del bitrate respecto a H.265 manteniendo la misma calidad
• Diseñado especialmente para contenido 4K/8K y 360°
• Características técnicas: Resolución máxima 16K (15360 × 8640), soporta hasta 600 fps, requiere dispositivos de nueva generación para decodificación eficiente y presenta mayor demanda computacional que sus predecesores
• Mejora significativamente en la codificación de contenido HDR, incorpora herramientas específicas para video de 360° y define unidades de codificación de tamaño variable hasta 128x128 píxeles

VP9

• Formato alternativo a H.265, con licenciamiento Open Source
• Ha tenido gran impacto gracias a la implementación en YouTube, cada video subido se recodifica a este formato
• Puede ser reproducido por navegadores web
• Ventajas: Reducción de entre un 35% a 40% de media respecto a H.264, la mayoría de dispositivos de reproducción añade soporte nativo y destaca la implementación en dispositivos móviles
• Características técnicas: Trabaja de forma similar a H.265, usa bloques cuadrados con diferentes tamaños según el contenido, permite bloques rectangulares mejorando la eficiencia, ejecuta solo 10 modos de predicción y ofrece una calidad de imagen reconstruida inferior a H.265.

AV1 (AOMedia Video 1)

• Estándar de codificación de video desarrollado por la Alliance for Open Media (AOMedia), integrado por líderes tecnológicos en 2015.
• Orígenes: Fusión de tres proyectos paralelos (VP10 (Google), Thor (Cisco) y Daala (Mozilla/Xiph.Org))
• Características: Reducción del 30-50% en bitrate comparado con H.265/HEVC y VP9 para calidad perceptual equivalente, completa eliminación de barreras de licenciamiento, compatibilidad con ecosistemas web y móviles y balance entre eficiencia de compresión y viabilidad de implementación

Ventajas de AV1

• Rendimiento superior en streaming adaptativo, eficiencia excepcional en bitrates bajos y libre de problemas legales de patentes
• Tiene soporte para resoluciones hasta 8K (7680x4320) con potencial para resoluciones superiores
• Soporte nativo en todos los navegadores principales y adopción completa por plataformas de streaming líderes como YouTube (transcoding predeterminado para resoluciones altas), Netflix y Amazon Prime Video

AV2 (AOMedia Video 2)

• Nueva generación de códec de la Alliance for Open Media, en desarrollo/implementación temprana (2023-2025) y con una mejora de eficiencia del 35% respecto a AV1
• La optimización se centra en especial para streaming y videollamadas, con énfasis en menor latencia
• Soporta resolución hasta 16K y tiene un diseño específico para el contenido generado por computadora
• Se espera una adopción gradual en servicios de streaming y aplicaciones de video, se diferencia por su mejora significativa con la eficiencia de compresión de pantalla y mejor rendimiento en dispositivos de bajo consumo

Formatos de Codificación de Audio

• Los formatos de codificación de audio más utilizados son: MP3, AAC, Vorbis y Opus

MP3 (MPEG Audio Layer III)

• Estándar ISO/IEC consolidado en 1995, es pionero como formato de compresión de audio con pérdidas en la revolución digital
• Permitió comprimir música a una décima parte manteniendo calidad, pero las patentes expiraron en 2017 convirtiéndolo en un formato de uso libre
• Sus características son: tasa de compresión variable entre 32 a 320 kbps, con frecuencias de muestreo soportadas entre 16 kHz y 48kHz, con soporte básico para audio estéreo(2 canales) sin ser optimizado para más canales
• Utiliza un modelo psicoacústico para eliminar frecuencias menos perceptibles.
• Se usa para streaming, iTunes y YouTube
• Se considera compatibilidad estándar de facto, pero técnicamente está algo superado
• Es menos eficiente en relación compresión/calidad que otros formatos modernos

AAC (Advanced Audio Coding)

• Estándar ISO/IEC desarrollado como sucesor del MP3. Es un formato de compresión para audio con pérdidas
• Diseñado para superar las limitaciones técnicas del MP3
• Tecnología base para el audio en servicios de Streaming
• Las características técnicas son una una tasa de bits adaptativa, soporte para audio multicanal y frecuencias de muestreo entre 8 kHz y 96 kHz
• Es superior reproduciendo frecuentes altas (>16khz) a diferencia del MP3 y tiene mejor comportamiento en cambios rápidos.

Vorbis (OGG Vorbis)

• Códec de audio de código abierto
• Alternativa técnicamente superior a MP3/AAC
• Usado en juegos y contenido open-source
• Compresión con pérdidas significativamente más eficiente
• Soporte excepcional para audio multicanal
• Soporte a tipos específicos de audio (voz humana, música instrumental)

Opus

• Códec de audio estandarizado por el IETF (RFC 6716)
• Libre de patentes con baja latencia
• Algoritmo híbrido que selecciona la mejor técnica según el contenido
• Escalabilidad integral que adapta la calidad a su entorno
• Se ha adoptado universalmente en VoIP

Formatos de Codificación: Tabla Comparativa

Incluye los estándares MP3, AAC, Vorbis y Opus

• Muestra la tasa de bits, número de canales y sus principales usos

Formatos de Codificación de Audio: Factores de Elección

• Calidad de audio requerida
• Ancho de banda disponible
• Compatibilidad con dispositivos
• Requisitos de DRM
• Restricciones de licenciamiento

Tendencias para Codificación de Audio

• El AAC predomina en streaming de video y audio
• El Opus es el mejor para la comunicación
• Los formatos open source están incrementando en popularidad

Formatos Contenedores

• Diseñadas para encapsular y organizar multiples elementos multimedia en un unico archivo, incluyendo audio, video, metadatos, capitulos o subtitulos
• El contenedor MP4 se corresponde al estándar ISO/IEC promovido por el Moving Picture Experts Group y ha sido adoptado cómo estándar de facto para la distribución de contenido digital
• El estandar MOV es un formato contenedor desarrollado por apple del standard MP4 principalmente utilizado para ecosistemas Apple y producción profesionales. MKV (Matroska)

Tipos de Codificación: Tabla Comparativa

• Comparación del contenedor de sus tipos de audio video y codecs

Transcodificación de Formatos de Codificación

• Transcodificación es el proceso de conversión directa de un formato de codificación a otro totalmente distinto
• Este proceso implica: decodificación completa del material original por un formato intermedio sin comprimir además de la recodificación
• Esta transcodificación es importante para la preservación de metadatos y optimizaciones de plataformas

Ejemplo de Transcodificación

• Se modifica el contenedor ASF > MKV, se codificador el vc-1 a H.26 y Audio WMA a ACC

Formatos: Contexto de Aplicación

• Entornos de producción profesional, Ingestra de material en sistemas de edición no lineal o la preparación de ASSETS y archivos de posproducción
• Sirve la normalización de flujos colaborativos para distintos canales de distribución y preparación de contenido de Streaming
• Optimización de formatos dependiendo dispositivos o condiciones de una red concreta
• Para la migración bibliotecas hacia nuevos sistemas y codificación

Requisitos Computacionales para la transcodificación

• Se necesita una arquitectura optimizada para operaciones vectoriales
• Alta frecuencia del reloj con Múltiples Núcleos
• Sistemas de alta velocidad con caché adaptable

Casos de uso para Transcodificación

• Util para la optimización de transmisiones de video en directo, la transmisión adaptativa o VOD y ajuste para requisitos de Youtube

Herramientas Avanzadas

• FFmpeg o GStreamer
• Son herramientas de código abierto