Archivado e intercambio de audio y vídeo. Contenedores y formatos PDF

Archivado e intercambio de audio y vídeo. Contenedores y formatos Máster de formación permanente en ingeniería de producción y explotación de contenidos José Manuel Menéndez Catedrático de la ETSIT-UPM Departamento de...

Archivado e intercambio de audio y vídeo. Contenedores y formatos Máster de formación permanente en ingeniería de producción y explotación de contenidos José Manuel Menéndez Catedrático de la ETSIT-UPM Departamento de Señales, Sistemas y Radiocomunicaciones E.T.S. Ingenieros de Telecomunicación Universidad Politécnica de Madrid Contenido 5. Contenedores de uso 1. Introducción Quicktime exlusivamente profesional MPEG-4 Parte 3 (AAC, 2. Concepto de formatos y WAV AAF HE-AAC y xHE-AAC) contenedores AU IMF ACx de Dolby 3. Contenedores multimedia de uso 4. Contenedores multimedia de uso MXF 8. Formatos de vídeo doméstico profesional y doméstico AXF Formatos INTRA + INTER de AVI Elementary Stream - ES de 6. Formatos de imagen vídeo Matroska MPEG Formatos raster Formatos INTRA de vídeo OGG Program Stream - de MPEG Formatos vectoriales Formatos INTRA de audio y OGM Transport Stream - TS de Formatos mixtos vídeo Contenedor RealMedia MPEG 7. Formatos de audio 9. Conclusiones ASF Dolby Atmos MPEG-1 Layer III (MP3) 10. Multigeneración 2 / 147  Introducción Contenido 6. Formatos de imagen 1. Introducción 7. Formatos de audio 2. Concepto de formatos y contenedores 8. Formatos de vídeo 3. Contenedores multimedia de uso doméstico 9. Conclusiones 4. Contenedores multimedia de uso profesional y doméstico 10. Multigeneración 5. Contenedores de uso exlusivamente profesional 3 / 147  Introducción Introducción ▶ El entorno audiovisual ha ido evolucionando y creciendo a lo largo de los años con propuestas tecnológicas de diferentes fabricantes, asociaciones, foros de estandarización, etc., no siempre compatibles entre sí ▶ Cada propuesta diferente intenta siempre dar respuesta a algún problema concreto: transportar audio, transportar audio y vídeo, transportar audio y vídeo con metadatos asociados, etc. ▶ En el ámbito del almacenamiento de de información multimedia no se ha parado de evolucionar en las últimas 3 décadas, pasando de un almacenamiento en soporte magnético (cintas) de señal analógica a señal digital, para, posteriormente, sustituir las cintas por discos informáticos, tanto con grabación magnética HDD1 como estado sólido SSD2 1 Hard Disk Drive 2 Solid State Drive 4 / 147  Introducción Introducción ▶ La gestión de los contenidos multimedia siempre implica tomar decisiones respecto a qué información manejar (calidad, formato, etc.) y cómo manejarla en toda la cadena de valor (adquisición, procesado, almacenamiento, transporte, difusión, etc.) ▶ La elección del formato de contenido multimedia es un aspecto muy importante, ya que condiciona la calidad de las señales a manejar, su compatibilidad con otras señales, puede limitar la retrocompatibilidad con contenidos anteriores, puede condicionar la evolución a tecnologías futuras, etc. ▶ Aspectos como la interoperabilidad, escalabilidad, retrocompatibilidad, posibilidad de evolución tecnológica, etc. son elementos esenciales a la hora de seleccionar el formato multimedia elegido 5 / 147  Concepto de formatos y contenedores Contenido 6. Formatos de imagen 1. Introducción 7. Formatos de audio 2. Concepto de formatos y contenedores 8. Formatos de vídeo 3. Contenedores multimedia de uso doméstico 9. Conclusiones 4. Contenedores multimedia de uso profesional y doméstico 10. Multigeneración 5. Contenedores de uso exlusivamente profesional 6 / 147  Concepto de formatos y contenedores Formato multimedia ▶ En el entorno audiovisual, se denomina formato o formato multimedia a un conjunto de datos que incluye un contenido (audio, vídeo, imagen, texto, metadatos, etc.) y un conjunto de características que especifican unívocamente dicho contenido ▶ Ese conjunto de datos puede ser un fichero, almacenado de algún modo, o un flujo de datos generado en una emisión en directo ▶ Un ejemplo de formato de señal de audio podría ser el formato MP3 ▶ Otro ejemplo de formato de señal de vídeo podría ser el formato H.264 ▶ Cada formato tiene definida su propia sintaxis y semántica en los datos ▶ Entre las características del contenido multimedia se encuentran las siguientes: ¬ Resolución si es vídeo: SD, HD, 3D, UHD,... ¬ Escaneo de la fuente de vídeo: 4:4:4, 4:2:2, 4:2:0,... ¬ Cuadros de vídeo por segundo ¬ Muestras de audio por segundo ¬ Bits/muestra de audio ¬ Bits/píxel de vídeo ¬... 7 / 147  Concepto de formatos y contenedores Formato multimedia ▶ Dependiendo de la especificación, un formato puede contener un único elemento o tipo de contenido (p.e. sólo audio en el formato MP3) o varios elementos (p.e. audio y vídeo en el formato DVCPRO HD) ▶ Los formatos no suelen ser compatibles entre sí, lo que obliga a las empresas del sector a seleccionar con qué formatos va a trabajar, y disponer de infraestructura (sw y/o hw) para realizar los cambios de formato ▶ Cuando gestionan señal de audio o de vídeo, los formatos pueden aplicar técnicas de compresión para reducir el flujo binario que describe la información. Dicha compresión puede ser con o sin pérdidas ▶ Dos aspectos que suelen ir ligados siempre en los formatos es la calidad y el flujo binario (bits/segundo) o tamaño del archivo equivalente (bytes): â normalmente, cuanta más calidad de señal se desea (para un mismo tipo de contenido), mayor es el flujo binario (y tamaño del archivo) requerido 8 / 147  Concepto de formatos y contenedores Contenedores/encapsuladores multimedia ▶ Los contenedores o encapsuladores multimedia se sitúan un nivel por encima de los formatos ▶ Un contenedor o encapsulador es un mecanismo para empaquetar conjuntamente uno o varios formatos junto con sus características, siguiendo también una sintaxis y una semántica propia del contenedor ▶ El contenido empaquetado suele ser almacenado en un fichero informático (como, por ejemplo, un fichero AVI), si bien puede traducirse en varios ficheros, o bien no almacenarse nunca (por ejemplo, un transport stream - TS que se genere al vuelo, y se emita en una señal de TV digital terrestre DVB-T) ▶ Por ejemplo, un fichero del contenedor AVI puede incluir contenido audiovisual de formato MPEG-2, o bien H.264 ▶ El único requisito que tiene el contendedor es que en su especificación se recoja la posibilidad de señalizar esos formatos, de tal manera que el reproductor entienda qué formato es, y utilice el decodificador correspondiente (caso de que el sistema disponga de él) 9 / 147  Concepto de formatos y contenedores Contenedores/encapsuladores multimedia ▶ Por tanto, un contenedor puede incluir varias señales y/o datos, cada una con su formato propio diferente ▶ Los contenidos de vídeo y audio suelen transportarse comprimidos para reducir la tasa binaria requerida, pero también pueden manejarse sin compresión para preservar totalmente su calidad ▶ Un contenedor puede incluir material comprimido (es decir, codificado) con distintos códecs. Eso implica que, si se quiere reproducir ese contenido, el sistema debe conocer el descodificador, tenerlo instalado (si es software), y utilizarlo ▶ Un error muy habitual es confundir un codificador de fuente (que simplemente comprime y codifica la señal), y un contenedor (que empaqueta el material, codificado - comprimido - o no, junto con otro tipo de datos, por ejemplo, metadatos) ▶ Es importante recordar que la compresión es opcional ya que existen formatos que no comprimen la señal, y pueden encapsularse contenidos no comprimidos 10 / 147  Concepto de formatos y contenedores Contenedores/encapsuladores multimedia ▶ Caso habitual que ocurre en el laboratorio: un fichero AVI puede contener un codificador que no esté instalado en los ordenadores del laboratorio y, por tanto, no se podrá reproducir ni editar ▶ Es, pues, imprescindible que el reproductor tenga instalados (si son sw) los descodificadores necesarios para reproducir tanto el vídeo como el audio, ya que, de lo contrario, la información no puede ser interpretada de forma correcta ▶ A lo largo del capítulo se va a hacer un repaso de varios contenedores (domésticos y profesionales) y diferentes formatos Formato → Contenido multimedia (también domésticos y profesionales) que pueden estar Contenedor → Continente empaquetados en dichos contenedores 11 / 147  Concepto de formatos y contenedores Ejemplos de formatos y contenedores ALGUNOS FORMATOS Y CONTENEDORES AUDIOVISUALES AUDIO Y VÍDEO AUDIO CONTENEDORES 3GP, ASF, AVI, FLV, MATROSKA, MP4, AIFF, AU, WAV, MULTIMEDIA MXF, NUT, OGG, OGM, QUICKTIME, Dolby Atmos REAL MEDIA, PS, TS, AAF, IMF, BXF, AXF ISO ITU-T Otros FORMATOS DE Cinepak, MPEG- H.261, H.262, AVS, BINK, DI- VÍDEO 1, MPEG-2, H.263, H.264, RAC, DV, INDEO, JPEG2000, MJ- H.265, H.266 WMV, VC-1, DPX, PEG, AVC, HEVC, AV1, AV2 VVC FORMATOS DE MPEG-1 LAYER II, G.711, G.722, AC3, AC3+, AC4, AUDIO MPEG-1 LAYER III, G.722.1, G.722.2, ATRAC, FLAC, AAC, HE-AAC G.723, G.723.2, iLBC, SHN, VOR- G.726, G.728, BIS, WAVPACK, G.729, G.729.1, WMA G.729a 12 / 147  Contenedores multimedia de uso doméstico Contenido 4. Contenedores multimedia de uso profesional y doméstico 1. Introducción 5. Contenedores de uso exlusivamente profesional 2. Concepto de formatos y contenedores 6. Formatos de imagen 3. Contenedores multimedia de uso doméstico AVI 7. Formatos de audio Matroska OGG OGM 8. Formatos de vídeo Contenedor RealMedia ASF 9. Conclusiones Quicktime WAV AU 10. Multigeneración 13 / 147  Contenedores multimedia de uso doméstico Contenedores multimedia de uso doméstico Se verán los siguientes contenedores multimedia de uso doméstico: ▶ AVI (Audio Video Interleave) - estandarizado en Windows y basado en RIFF ▶ OGG - estándar para Xiph ▶ OGM (OGG Media) ▶ Matroska - solución de software libre ▶ Real Media - contenedor de Real Video y Real Audio ▶ MOV - Quicktime ▶ ASF (Advanced Systems Format) - contenedor de Microsoft para Windows Media Vídeo y Windows Media Audio ▶ WAV - Contenedor de audio de Windows ▶ Familia MPEG: MPG, MP4 (y TS, M2T, M2TS, MPEG-2 TS, PS,... con matices) ▶ Dolby Atmos 14 / 147  Contenedores multimedia de uso doméstico AVI Contenedor AVI ▶ El contenedor AVI (Audio Video Interleave) fue diseñado por Microsoft en 1992, y es un contenedor multiformato ampliamente usado en integrado en las diferentes versiones del sistema operativo Windows ▶ Soporta audio, vídeo y metadatos, admitiendo múltiples codecs de vídeo y audio (que deben ser instalados) ▶ Los contenidos deben ser almacenados de manera entrelazada (de ahí su nombre) en un fichero con exensión.AVI para que se puedan reproducir simultáneamente ▶ El comienzo de todo fichero AVI es una cabecera con metadatos, que describe los contenidos empaquetados, y cómo se deben reproducir. Esa cabecera no se vuelve a repetir ▶ Soporta solo un flujo de vídeo y de 0 a 99 flujos de audio, con un tamaño máximo de hasta 2 GB, pero existe una extensión que permite archivos más grandes, llamada OpenDML 15 / 147  Contenedores multimedia de uso doméstico AVI Contenedor AVI: ventajas y desventajas ▶ La principal ventaja de AVI es que es un contenedor maduro y soportado por la mayoría de programas multimedia ▶ La desventaja de este formato es que no soporta streaming, con lo que no permite la transmisión de contenidos en tiempo real. Para encapsular streaming media Microsoft desarrolló el contenedor ASF ▶ La estructura de un fichero AVI no es secuencial y repetitiva. Existen estructuras de datos que están al comienzo del fichero, y que no se repiten cíclicamente, con lo que no se puede reproducir un contenido al que un reproductor se conecta tras el comienzo de la emisión 16 / 147  Contenedores multimedia de uso doméstico Matroska Contenedor Matroska ▶ Matroska es un proyecto que nació con el atrevido objetivo de convertirse en el Contenedor Multimedia estándar universal ▶ Matroska es un proyecto estándar abierto: http://www.matroska.org/. Arrancado en 2002 ▶ El código fuente de todas las librerías desarrolladas por el equipo de desarrollo de Matroska son licenciadas bajo licencias GNU GPL (General Public License) y QPL - freedom to share and change the sw (Licencia dual) ▶ Algunos fabricantes de equipamiento multimedia doméstico (fundamentalmente) lo utilizan para abaratar costes de los productos 17 / 147  Contenedores multimedia de uso doméstico Matroska Contenedor Matroska El proyecto Matroska tiene las siguientes metas: ▶ Crear y documentar un contenedor de audio/vídeo moderno, flexible, y multiplataforma ▶ Establecer Matroska como la alternativa de código abierto a otros contenedores propietarios existentes ▶ Desarrollar un conjunto de herramientas para la creación, edición e implementación de los ficheros Matroska ▶ Desarrollar librerías y herramientas para que los desarrolladores de software puedan ofrecer soporte a Matroska en sus aplicaciones ▶ Preparar soporte hardware de ficheros Matroska en la próxima generación de unidades de reproducción individuales, en cooperación cerrada con los creadores de dispositivos 18 / 147  Contenedores multimedia de uso doméstico Matroska Contenedor Matroska Las extensiones de los archivos Matroska son: ▶ mkv: Para archivos de audio y/o vídeo, pudiendo contener formatos de vídeo MPEG2, H.264, H.265, etc. ▶ mka: Para archivos de audio, puede contener cualquier formato de compresión de audio, como MP2, MP3, Vorbis, AAC, AC3, AC3+, AC4, DTS, PCM ▶ mks: Para archivos llamados elementary de Matroska, que puede contener cualquier cadena de subtítulos 19 / 147  Contenedores multimedia de uso doméstico OGG Contenedor OGG ▶ OGG es el nombre del formato contenedor de audio creado por la fundación Xiph.org. Pertenece al proyecto homónimo OGG, arrancado en 1994 ▶ Xiph.Org es una fundación sin ánimo de lucro que pretende proteger la esencia del Internet multimedia evitando el control de las grandes corporaciones ▶ Su propósito es apoyar y desarrollar una serie de protocolos libres y abiertos, el proyecto OGG, y programas libres para servir al público, los desarrolladores y las empresas ▶ OGG fue diseñado para streaming de audio (ficheros.OGG), y el flujo de audio que contiene va comprimido con un codec llamado Vorbis ▶ OGG no admite vídeo, ni cualquier otro tipo de audio 20 / 147  Contenedores multimedia de uso doméstico OGM Contenedor OGM ▶ OGM (OGG Media) es la variante de OGG para soportar vídeo, otros codecs de audio y un tipo de subtítulo con ficheros.OGM ▶ OGM es una extensión no oficial (no forma parte de xiph.org) del OGG capaz de almacenar otros formatos (XviD, DivX, mp3, ac3, etc.) además de los oficiales de la Xiph.org (FLAC, Vorbis, Speex, Theora) ▶ Al no ser una extensión oficial de Xiph.org, es un formato con soporte de software muy limitado. Hay pocos programas de edición que permitan utilizarlo como entrada o salida 21 / 147  Contenedores multimedia de uso doméstico Contenedor RealMedia Contenedor RealMedia ▶ La compañía RealNetworks proporciona una plataforma universal para la difusión de contenido multimedia a través de redes como Internet ▶ Ya desde su diseño (en 1995) ha sido pensado para explotar el contenido audiovisual en Internet ▶ En base a este principio, los formatos de RealMedia (ficheros.RM) son muy adecuados para streaming ▶ En estos momentos, tiene un uso muy amplio, a nivel internacional, para la emisión, en tiempo real, mediante streaming, de señal de emisoras de radio 22 / 147  Contenedores multimedia de uso doméstico ASF Contenedor Advanced Streaming Format (ASF) ▶ ASF (Advanced Streaming Format) es la respuesta de Microsoft a RealMedia y el resto de los medios de streaming en general ▶ Es un contendor extensible diseñado para almacenar información multimedia sincronizada ▶ Admite funciones multimedia avanzadas: descarga on-line de componentes no disponibles, tipos de medios escalables, establecimiento de prioridades especificadas originalmente por el autor para las secuencias, compatibilidad con varios idiomas, etc. ▶ Se reproduce en el reproductor de Windows, el Windows Media Player, con fichero.ASF 23 / 147  Contenedores multimedia de uso doméstico Quicktime Contenedor Quicktime ▶ Quicktime es un sistema de reproducción de vídeo/audio propietario de Apple, y presente, por defecto, en todos los equipos de dicha marca ▶ Permite formatos de vídeo que utilicen cualquier codec, con tasa binaria constante CBR - Constant Bit Rate o variable VBR - Bariable Bit Rate, siendo especialmente adecuado para la transmisión de contenidos por streaming ▶ Para la correcta reproducción del contenido es necesario que el codec esté instalado (tanto de vídeo como de audio) ▶ Los archivos que admite Quicktime pueden tener extensión.MOV,.QT y.MP4 entre otras ▶ De hecho, el contenedor QuickTime con extensión.MP4 está estandarizado por ISO, en el estándar ISO/IEC 14496-14, donde se hace hincapié en su adecuación para streaming. Se le conoce como MPEG4 - Parte 14 24 / 147  Contenedores multimedia de uso doméstico WAV Contenedor WAV ▶ WAV (o WAVE), apócope de WAVEform audio format, es un formato de audio digital, normalmente sin compresión de datos, propietario de Microsoft y de IBM, que se utiliza para almacenar audio en PCs con ficheros.WAV ▶ Para su desarrollo se han tenido en cuenta algunas peculiaridades de la CPU Intel, y es el contenedor usado principalmente por Windows ▶ A pesar de ser compatible con muchos codecs de audio, su uso masivo ha sido con codificación PCM sin compresión, con muestreo 44,1 KHz y 16 bits/muestra. No obstante, admite otras variantes, incluso con compresión 25 / 147  Contenedores multimedia de uso doméstico WAV WAV ▶ En promedio, con las condiciones anteriores, se requieren 10 MB por minuto de grabación (aproximadamente 10 veces más que MP3) ▶ No admite ficheros de más de 4 GB, ya que su tamaño viene indicado por un metadato de su cabecera que se representa por un entereo de 32 bits ▶ No es un formato funcional para transmitirlo por Internet, porque los archivos sin compresión son muy grandes. Son más frecuentes los formatos comprimidos con pérdidas, como MP3, Realmedia u OGG Vorbis 26 / 147  Contenedores multimedia de uso doméstico AU Contenedor AU (Audio for UNIX) ▶ Se utiliza en archivos de sonido con sistema Unix de SunTM Microsystems and NeXTTM y su variante para ordenadores personales: Linux ▶ La extensión de los archivos es.AU ▶ Funciona como estándar acústico para el lenguaje de programación JAVA ▶ Al igual que con el contenedor WAV admites múltiples codecs, pero su uso masivo ha sido con codificación usando la Ley µ con 8 bits/muestra (estándar ITU-T G.711 para señales vocales, con Ley µ usada en USA y Japón, y Ley A utilizada en el resto del mundo) 27 / 147  Contenedores multimedia de uso profesional y doméstico Contenido 5. Contenedores de uso exlusivamente profesional 1. Introducción 6. Formatos de imagen 2. Concepto de formatos y contenedores 7. Formatos de audio 3. Contenedores multimedia de uso doméstico 8. Formatos de vídeo 4. Contenedores multimedia de uso profesional y doméstico 9. Conclusiones Elementary Stream - ES de MPEG Program Stream - de MPEG 10. Multigeneración Transport Stream - TS de MPEG Dolby Atmos 28 / 147  Contenedores multimedia de uso profesional y doméstico La familia de estándares MPEG ▶ MPEG (Moving Picture Experts Group) es el grupo de trabajo 11, subcomité 29 de ISO/IEC12 Joint Technical Committes 1 ▶ Fue establecido en 1988 con la misión de desarrollar estándares para la representación digital de audio y vídeo profesional (tanto formatos como contenedores) ▶ Con el tiempo, se ha extendido el uso de los estándares MPEG a nivel no profesional también ▶ Por tanto, se considera que los formatos y los encapsuladores propuestos por MPEG son de ámbito tanto profesional como doméstico 29 / 147  Contenedores multimedia de uso profesional y doméstico Estándares MPEG desarrollados hasta la fecha 30 / 147  Contenedores multimedia de uso profesional y doméstico Elementary Stream - ES de MPEG Contenedor Elementary Stream - ES de MPEG ▶ MPEG ha estandarizado los contenedores que empaquetan los contenidos comprimidos con los codificadores estandarizados por dicho grupo ▶ El estándar admite también el uso de otros codecs (tanto de audio como de vídeo) no desarrollados por el grupo MPEG ▶ Cuando se codifica una señal de audio, o una señal de vídeo, la salida del codificador se denomina Flujo Elemental o Elementary Stream - ES ▶ Cada ES contiene, exclusivamente, un único tipo de dato: audio, vídeo, o datos (por ejemplos, subtítulos) 31 / 147  Contenedores multimedia de uso profesional y doméstico Elementary Stream - ES de MPEG Contenedor Elementary Stream - ES de MPEG ▶ Los ES se pueden contener datos emitidos al vuelo, o que se almacenan en fichero. En ese caso su extensión habitual es: ▶ MPG/MPEG: Puede contener vídeo (codificado con alguno de los codecs estandarizados: MPEG-1, MPEG-2, AVC, HEVC, VVC, etc.) ▶ M1V/M2V: Formato de sólo vídeo para MPEG-1 y MPEG-2 respectivamente ▶ MP1/MP2/MP3: Formato para audio MPEG-1/2 layer I, II y III respectivamente ▶ Para componer un contenido multimedia, con vídeo y audio, por ejemplo, es necesario empaquetar varios ES con un contenedor, también definido por MPEG, denominado Flujo de Programa o Program Stream - PS, o su variante con protección para ser transportada en canales susceptibles de errores de transmisión, denominada Flujo de Transporte o Transport Stream - TS 32 / 147  Contenedores multimedia de uso profesional y doméstico Program Stream - de MPEG Contenedor Program Stream - PS de MPEG ▶ Un PS multiplexa (empaqueta) varios ES, codificados por el mismo reloj de referencia (para facilitar la presentación en sincronía entre contenidos en recepción) ▶ Lo habitual es que un servicio de TV (conocido vulgarmente como canal de TV) se empaquete en un flujo PS que contenga un flujo ES de vídeo, varios flujos ES de audio (con los doblajes en diferentes idiomas, por ejemplo) y varios flujos ES de datos con subtítulos ▶ Los ficheros de los contenedores PS tienen las extensiones.MPG,.MPEG,.M2PS o.PS 33 / 147  Contenedores multimedia de uso profesional y doméstico Program Stream - de MPEG Contenedor Program Stream - PS de MPEG 34 / 147  Contenedores multimedia de uso profesional y doméstico Transport Stream - TS de MPEG Contenedores Transport Stream - TS de MPEG ▶ Cuando se va a transmitir/difundir la información (por ejemplo, vía DVB-S2, DVB-T, DVB-C, etc.) es necesario tener en cuenta que el canal de transmisión tendrá errores, que podrían provocar la falta de recepción de señal con potencia o relación S/N suficiente ▶ Para proteger la señal frente a problemas de transmisión MPEG ha desarrollado otro contenedor, denominado Flujo de Transporte o Transport Stream - TS ▶ Los flujos TS empaquetan flujos PS, e incluyen redundancia con codificación de canal (adaptada el médio físico de transmisión) que permite corrección de errores y códigos cíclicos de sincronización para mantener la integridad de la transmisión cuando hay degradación del canal de transmisión ▶ Los ficheros de los contenedores TS tienen las extensiones.MPG,.MPEG,.M2TS o.TS 35 / 147  Contenedores multimedia de uso profesional y doméstico Transport Stream - TS de MPEG Contenedores Transport Stream - TS de MPEG ▶ Los flujos TS también incluyen tablas de información (PAT, PMT, AIT, etc.) que incluyen metadatos describiendo los flujos ES y sus características, opciones de presentación del contenido, guía informativa de programas que se difundirán, etc. Dichos metadatos se denominan Información de Servicio ▶ En España, cada canal de 8 MHz de UHF dedicado a emisión de TV mediante DVB-T (conocida vulgarmente como TDT - TV Digital Terrestre) está configurado, por ley, para admitir un flujo de 19,91 Mbits/seg (lo que se denomina un múltiplex - MUX) ▶ Cada MUX de TDT incluye tantos servicios de TV como le caben el los 19,91 Mbits/seg 36 / 147  Contenedores multimedia de uso profesional y doméstico Transport Stream - TS de MPEG Información de servicio en un TS de MPEG 37 / 147  Contenedores multimedia de uso profesional y doméstico Transport Stream - TS de MPEG Contenido de los MUX emitidos desde Torrespaña Disposición de los MUX de TDT emitidos desde Torrespaña (Madrid) tras el segundo dividendo digital: 38 / 147  Contenedores multimedia de uso profesional y doméstico Dolby Atmos Contenedor Dolby Atmos ▶ Dolby Atmos es un contenedor de audio envolvente diseñado por Dolby en 2012 ▶ Admite manejar hasta 128 pistas de audio más sus correspondientes metadatos ▶ Cada pista se puede asignar a un canal o a un objeto de audio (conjunto de canales vinculados, p.e., varios canales de sonido ambiente de un estadio y el canal del locutor) ▶ Los metadatos permiten indicar la posición espacial 3D de las fuentes sonoras, qué pistas/canales están asociadas a cada fuente y, si las fuentes se mueven, describir su movimiento 3D 39 / 147  Contenedores multimedia de uso profesional y doméstico Dolby Atmos Contenedor Dolby Atmos ▶ Dolby Atmos permite manejar pistas de de audio codificadas en formatos AC3, AC3+ y AC4 ▶ Aprovecha la infraestructura de los drivers (altavoces) disponibles en la sala para renderizar (ubicar) espacialmente en 3D las fuentes sonoras indicadas en los metadatos, readaptándolas en caso de que los metadatos indiquen movimiento de las fuentes ▶ Permite manejar sistemas multicanal clásicos de 5.1, así como de 7.1.4, indicando el último dígito el número de altavoces de techo (o mirando al techo y reflejándose en el mismo para controlar verticalmente el campo sonoro) 40 / 147  Contenedores de uso exlusivamente profesional Contenido MXF AXF 1. Introducción 6. Formatos de imagen 2. Concepto de formatos y contenedores 7. Formatos de audio 3. Contenedores multimedia de uso doméstico 4. Contenedores multimedia de uso profesional y 8. Formatos de vídeo doméstico 9. Conclusiones 5. Contenedores de uso exlusivamente profesional AAF 10. Multigeneración IMF 41 / 147  Contenedores de uso exlusivamente profesional AAF Contenedor AAF ▶ AAF (Advanced Authoring Format) es un contenedor de intercambio profesional diseñado para los entornos de generación y produccion de contenidos multi-dominio y basados en PC ▶ Es una creación de la Advanced Authoring Format Association, fundada en 2000, y renombrada como AMWA (Advanced Media Workflow Association) en 2007 ▶ Las primeras publicaciones de AAF datan de 2002 ▶ Está estandarizado por el SMPTE ▶ AAF es la raíz y compatible con MXF, BXF y AXF, y es origen de IMF 42 / 147  Contenedores de uso exlusivamente profesional AAF Contenedor AAF ▶ Puede intercambiar dos tipos de datos: ▶ Contenido multimedia: audio, vídeo, imágenes, texto, gráficos, música,... ▶ Información sobre cómo combinar o modificar los contenidos para generar un máster o producto final. Permite generar una especie de EDL asociada a los contenidos incluidos ▶ El estándar AAF ha evolucionado en los últimos años para facilitar el intercambio de contenidos entre en el entorno cinematográfico y las salas de proyección o los grupos de media (incluidos los de TV) que ofrecen dichos contenidos ▶ Dicha evolución ha dado lugar a la creación del contenedor IMF 43 / 147  Contenedores de uso exlusivamente profesional IMF Contenedor IMF ▶ Interoperable Master Format - IMF es el estándar del SMPTE ST-2067 para facilitar el intercambio entre las distribuidoras de contenidos y sus clientes (p.e. entre HBO o Sony Pictures, y sus clientes que compran películas) ▶ Facilita la generación de múltiples versiones finales (también llamados masters) de un mismo producto audiovisual y la gestión de las mismas ▶ Se integra en el sistema de gestión de archivos o MAM (Media Asset Management system) del distribuidor de contenidos, y facilita el intercambio físico y la gestión de licencias con los clientes ▶ Click: Descripción detallada con ejemplos ▶ Vídeo de la compañia NETFLIX con información sobre IMF y su uso para gestión de versiones de una misma película en múltiples idiomas 44 / 147  Contenedores de uso exlusivamente profesional MXF Contenedor MXF ▶ MXF (Material eXchange Format) aparece en 2004 por la necesidad de manejar en entornos profesionales un único encapsulador, en un intento de acabar con la gran dispersión existente ▶ Es un subconjunto del AAF, más sencillo y práctico ▶ Puede utilizarse para toda clase de sistemas de edición no lineal compatibles con MXF ▶ Estandarizado por la recomendación SMPTE ST-377M-1:2019 45 / 147  Contenedores de uso exlusivamente profesional MXF MXF: a bajo nivel ▶ La sintaxis y la semántica del contenedor MXF orbita alrededor de la tripleta KLV para codificar cada elemento empaquetado: ▶ Key: identificador del elemento, que es una etiqueta SMPTE universal label (UL) ▶ Lenght: longitud de los datos ▶ Value: el valor real del elemento 46 / 147  Contenedores de uso exlusivamente profesional MXF Contenedor MXF a bajo nivel ▶ Un fichero MXF es una secuencia de paquetes KLV que puede contener elementos de datos (video, audio, etc.) o grupos de datos, junto con sus metadatos ▶ La flexibilidad de poder encadenar tripletas KLV de manera indefinida le permie adaptarse a cualquier contenido, incluso de streaming 47 / 147  Contenedores de uso exlusivamente profesional MXF Flujos de trabajo con MXF Desde su concepción, MXF está pensado para ser utilizado en todos los componentes del flujo de trabajo de una productora/distribuidora de contenidos: 48 / 147  Contenedores de uso exlusivamente profesional AXF Contenedor AXF ▶ Archive eXchange Format - AXF,estandarizado por la recomendación SMPTE ST 2034-1:2017, es un sistema de almacenamiento y gestión de grandes volúmenes de datos, como los manejados por los productores de contenidos ▶ Formato abierto: http://axf.io ▶ Concebido para el almacenamiento de conjuntos de ficheros (media de cualquier tipo con sus metadatos asociados) en grandes dimensiones, incluso con estructuras propias de directorios y subdirectorios ▶ AXF se abstrae del medio físico de almacenamiento, facilitando la evolución o su uso con diferentes generaciones de datos ▶ Facilita el intercambio de datos entre sistemas de archivo diferentes (p.e., diferentes sistemas operativos) y entre redes diferentes 49 / 147  Contenedores de uso exlusivamente profesional AXF Contenedor AXF ▶ Incluye sistemas de ficheros propios que permiten establecer jerarquías entre ficheros y directorios, sin limitaciones en tipos, tamaño y número ▶ Permite el almacenamiento de objetos individuales en múltiples tipos de medios simultáneamente (bien buscando redundancia o por no caber en un único medio). Este proceso se conoce como spanning ▶ Permite actualizar fácilmente los datos almacenados, manteniendo la integridad de los datos originales y el histórico de actualizaciones. Este proceso se conoce como collected sets ▶ Dota al sistema de fiabilidad ante fallos mediante técnicas de redundancia y checksum ▶ Facilita el proceso automático de sistemas de back-up ▶ Se apoya en OAIS: Open Archival Information System (ISO 14721:2003) 50 / 147  Contenedores de uso exlusivamente profesional AXF Contenedor AXF ▶ Todo lo anterior independiza el formato de marcas propietarias ▶ Dota al sistema de flexibilidad para permitir su uso con varias generaciones de formatos de archivo, y entornos de procesado y/o almacenamiento ▶ Igual que MXF aporta interoperabilidad al contenido, e IMF aporta interoperabilidad al intercambio, AXF ofrece interoperabilidad de almacenamiento 51 / 147  Formatos de imagen Contenido JPEG 2000 JPEG XL 1. Introducción PNG DPX 2. Concepto de formatos y contenedores Formatos vectoriales SVG Formatos mixtos 3. Contenedores multimedia de uso doméstico PDF 4. Contenedores multimedia de uso profesional y 7. Formatos de audio doméstico 8. Formatos de vídeo 5. Contenedores de uso exlusivamente profesional 9. Conclusiones 6. Formatos de imagen Formatos raster JPEG 10. Multigeneración 52 / 147  Formatos de imagen Formatos de imagen ▶ Existen múltiples formatos de representación de imágenes, algunos de los cuales se han utilizado para vídeo o, incluso, para señal de audio y vídeo ▶ Los formatos de imágen se pueden clasificar en tres grandes grupos: Formatos raster: La imagen se representa mediante una matríz de píxeles, típicamente cuadrados, organizados en filas y columnas. Cada píxel representa el nivel de gris (luminancia) o el color (a través de una tripleta de valores, habitualmente R,G,B) que tiene la imagen en ese punto Formatos vectoriales: La imagen se representa matemáticamente, mediante puntos, líneas y otras figuras geométricas (curvas de Bézier, polígonos, etc.), de expresión analítica conocida Formatos mixtos: Pueden contener tanto datos raster como vectoriales ▶ La ventaja que presentan los formatos vectoriales es que admiten hacer zoom sobre una zona sin que aparezcan efectos de pixelado, ya que la representación matemática ofrece una descripción prácticamente con infinito detalle ▶ Por contra, los formatos raster muestran gran pixelado si el zoom es considerable 53 / 147  Formatos de imagen Comparativa entre escudo UPM en formato raster y vectorial Diferencia entre detalle del escudo de la UPM en formato raster (izquierda) y vectorial (derecha) 54 / 147  Formatos de imagen Formatos de imagen ▶ Existen muchísimos formatos para representación y almacenamiento de imagen. Cada sector, además, puede tener los suyos propios (teledetección, fotografía artística, archivo documental, infografía, etc.) ▶ En el ámbito de media profesional, los formatos de imagen más comunes son los siguientes: Formatos raster: JPEG, JPEG 2000, JPEG XL, PNG y DPX Formatos vectoriales: SVG Formatos mixtos: PDF ▶ Además de los anteriores, y dependiendo del fabricante de los equipos que se utilicen para rotulación, grafismo, edición, etc., pueden usarse otros formatos 55 / 147  Formatos de imagen Formatos raster Contenido JPEG JPEG 2000 1. Introducción JPEG XL PNG DPX 2. Concepto de formatos y contenedores Formatos vectoriales Formatos mixtos 3. Contenedores multimedia de uso doméstico 7. Formatos de audio 4. Contenedores multimedia de uso profesional y doméstico 8. Formatos de vídeo 5. Contenedores de uso exlusivamente profesional 9. Conclusiones 6. Formatos de imagen Formatos raster 10. Multigeneración 56 / 147  Formatos de imagen Formatos raster Formato JPEG ▶ Aprobado en Junio de 1991, está especificado en la recomendación ITU-T Rec. T.81 / | ISO/IEC 10918-1 (JPEG-1), y modificado en 2005 por la recomendación ITU-T T.851 donde se reemplaza la codificación aritmética por la versión Q-15 que disminuye la latencia en decodificación ▶ Reúne la doble condición de estándar de ISO y recomendación de la ITU-T ▶ Incluye una modalidad de compresión sin pérdidas y tres modalidades con pérdidas: Secuencial: La imagen se codifica con la misma resolución con la que fue digitalizada (modo normal) Progresiva: Primero se codifica y transmite una versión de baja resolución, y después se codifican y transmiten versiones con resoluciones progresivamente mayores, hasta alcanzar la máxima Jerárquica: La imagen se codifica con diferentes resoluciones, y se permite que el usuario seleccione la resolución a la que quiere presentar y visualizar la imagen 57 / 147  Formatos de imagen Formatos raster Formato JPEG ▶ Es el formato de representación de imágenes más extendido a nivel mundial, y utilizado mayoritariamente como formato de almacenamiento comprimido por todos los dispositivos de captura fotográfica ▶ Los ficheros pueden tener las extensiones.JPG o.JPEG ▶ Grados de compresión que alcanza JPEG: 0.25-0.5 bits/píxel: Calidad de moderada a buena. Implica un ratio de compresión de hasta 32:1 0.5-0.75 bits/píxel: Calidad de buena a muy buena. Ratio de hasta 16:1 0.75-1.5 bits/píxel: Calidad excelente. Ratios de hasta 10,66:1 1.5-2.0 bits/píxel: Normalmente, indistinguible del original. Ratios de hasta 5,33:1 ▶ Las unidades bits/píxel indican el número total de bits de la imagen resultante dividido por el número de muestras de la componente de luminancia 58 / 147  Formatos de imagen Formatos raster Diagrama de bloques del formato JPEG Almacenamiento Imagen Codificación Formato Decodificación Decodificación o Imagen Original JPEG Intercambio Transmisión Formato JPEG Reproducida Tablas Tablas Especificación Especificación Las tablas de especificación son diferentes para cada fabricante, admitiendo el estándar que exista cierta competencia en el mercado por lograr la mayor compresión con la mejor calidad 59 / 147  Formatos de imagen Formatos raster Diagrama de bloques del modo secuencial del formato JPEG Bloques 8x8 de la DCT Ordenación Cuantificación Codificación imagen directa zig-zag Entrópica original Formato de intercambio Tabla Tabla Especificación Especificación La codificación entrópica fue modificada en 2005 para reducir la latencia en decodificación 60 / 147  Formatos de imagen Formatos raster Formato JPEG Imagen original: 61 / 147  Formatos de imagen Formatos raster Formato JPEG Imagen codificada con 1 bpp: 62 / 147  Formatos de imagen Formatos raster Formato JPEG Imagen codificada con 0,5 bpp: 63 / 147  Formatos de imagen Formatos raster Formato JPEG Imagen codificada con 0,25 bpp: 64 / 147  Formatos de imagen Formatos raster Formato JPEG 2000 ▶ Aprobado en el año 2000 como estándar ISO/IEC 15444, sus ficheros tienen como extensiones más comunes.JP2 y.J2K ▶ Ofrece mayor compresión que JPEG, aunque también require mayor coste computacional ▶ No se basa en DCT, sino en transformada Wavelet, permitiendo también trabajar con modos SIN pérdidas y CON pérdidas, logrando mayor compresión en este último caso ▶ De manera similar a los modos progresivo y jerarquico de JPEG, permite la transmisión de la imagen con diferentes resoluciones, y/o su refinamiento progresivo ▶ Soporta la inclusión de metadatos que desciban cualquier característica de la imagen 65 / 147  Formatos de imagen Formatos raster Comparativa JPEG vs JPEG 2000 Comparativa de capacidad de compresión para una calidad visual similar : 66 / 147  Formatos de imagen Formatos raster Evolución de JPEG: Formato JPEG XL ▶ La evolución de JPEG en la que se está trabajando en estos momentos es JPEG XL (ISO/IEC 18181) para imágenes raster ▶ Ofrece la posibilidad de trabajar con y sin pérdidas ▶ Está concebido para responder óptimamente en entornos web, operando eficientemente en múltiples tipos de dispositivos y navegadores, y en aplicaciones con redes sociales, comercio electrónico, operación en la nube, etc. ▶ Incorpora la posibilidad de generar contenidos retrocompatibles con JPEG, admitiendo introducir mejoras mediante metadatos que los reproductores de JPEG XL pueden decodificar. Admite, también, transcodificación de contenidos JPEG a JPEG XL sin pérdidas adicionales 67 / 147  Formatos de imagen Formatos raster Evolución de JPEG: Formato JPEG XL ▶ Admite trabajar con espacios de color ampliado (WCG), alto rango dinámico de luminosidad (HDR), animación, canales α para transparencias, iconos (thumbnails), imágenes 360º, ráfagas de imágenes, panoramas, etc. ▶ Proporciona ratios de compresión mejores que JPEG, con un algoritmo optimizado para que sea eficiente computacionalmente sólo por software, sin necesidad de hardware adicional o específico 68 / 147  Formatos de imagen Formatos raster Formato PNG ▶ Publicada la versión 1.0 en 1996 y aprobado como estándar ISO/IEC 15948 en 2004, surge como alternativa al formato GIF pero libre de patentes ▶ Sus ficheros tienen la extensión.PNG ▶ Admite compresión tanto con pérdidas como sin ellas, mediante una combinación de predicción DPCM basada en píxeles vecinos, codificación de recorrido (run-length encoding) y codificación Huffman de mínima entropía ▶ Fue adoptado por la W3C como formato recomendado para aplicaciones de internet en 1996 ▶ Admite el uso de 1, 2, 4, 8, y 16 bits/píxel y canal, admitiendo canal α para transparencias 69 / 147  Formatos de imagen Formatos raster Formato DPX ▶ Publicada la primera versión del estándar en 1994 por la SMPTE como ST 268-M, actualizada posteriormente en 2014 como ST 268:2014 para incluir espacios de color ampliados de la Academy Color Encoding System - ACES, y complementado en 2018 con la norma ST 268-2:2018 para aceptar alto rango dinámico (HDR) y más espacios de color (WCG) ▶ Es el formato sin compresión más utilizado, a nivel profesional, para almacenar imágenes raster que procedan del escaneado de películas fotográficas o de cine, donde la respuesta de la película en luminosidad (conocida como la gamma - γ) se pueda reflejar, mantener o compensar con una respuesta inversa logarítmica ▶ Genera ficheros con la extensión.DPX 70 / 147  Formatos de imagen Formatos raster Formato DPX ▶ La propuesta original procede del formato Kodak Cineon (con ficheros con extensión.CIN), generado por Kodak para almacenar imágenes escaneadas por los escáneres que la propia marca fabricaba ▶ Proporciona una gran flexibilidad en el almacenamiento de información de color, espacios de color y planos de color para intercambio entre productoras y aplicaciones de postproducción ▶ La extensión SMPTE ST 268-2:2018 incluye una sección para la inclusión de metadatos basada en eXtensible Metadata Platform - XMP (Standar de ISO propuesto originalmente por Adobe), XML y KLV (la estructura básica de MXF) 71 / 147  Formatos de imagen Formatos vectoriales Contenido 6. Formatos de imagen Formatos raster 1. Introducción Formatos vectoriales SVG 2. Concepto de formatos y contenedores Formatos mixtos 3. Contenedores multimedia de uso doméstico 7. Formatos de audio 4. Contenedores multimedia de uso profesional y 8. Formatos de vídeo doméstico 9. Conclusiones 5. Contenedores de uso exlusivamente profesional 10. Multigeneración 72 / 147  Formatos de imagen Formatos vectoriales Formato SVG ▶ El formato SVG (Scalable Vector Graphics) está basado en Extensible Markup Language - XML, y fue diseñado para describir gráficos bidimensionales con capacidad de posibilitar animación e interactividad. Usa las extensiones.SVG y.SVGZ ▶ Al estar basado en XML se puede usar cualquier editor de texto ▶ La especificación de SVG es un estándar abierto adoptado en 1999, y apoyado por la W3C, lo cual ha provocado que la mayoría de los navegadores web actuales lo soporten ▶ Trabaja con tres tipos de objetos gráficos: contornos (que incluyen cualquier figura geométrica), imágenes de mapas de bits, y texto. Sobre ellos se pueden aplicar transformaciones, transparencias, filtros, efectos, etc. ▶ La especificación más completa y actual se puede encontrar en: https://w3.org/TR/SVG2/ 73 / 147  Formatos de imagen Formatos mixtos Contenido 6. Formatos de imagen Formatos raster 1. Introducción Formatos vectoriales Formatos mixtos 2. Concepto de formatos y contenedores PDF 3. Contenedores multimedia de uso doméstico 7. Formatos de audio 4. Contenedores multimedia de uso profesional y 8. Formatos de vídeo doméstico 9. Conclusiones 5. Contenedores de uso exlusivamente profesional 10. Multigeneración 74 / 147  Formatos de imagen Formatos mixtos Formato PDF ▶ Formato desarrollado y patentado por la empresa Adobe Systems a comienzos de los 90’s para describir documentos, como subconjunto del lenguaje PostScript ▶ En 1993 Adobe liberó la especificación, convirtiendose en el estándar ISO 32000-1 en 2008 (liberando de pago de royalties por el uso de su patente) ▶ Como lenguaje de descripción de documentos, un fichero PDF se compone de texto ASCII de 7 bits/carácter, excepto para ciertos elementos (como las imágenes de mapas de bits) que pueden tener contenido binario ▶ La cabecera suele empezar por el código de PDF, seguido del número de versión utilizado: %PDF-1-6. Le siguen objetos propios del lenguaje de programación: números, booleanos, cadenas de caracteres, arrays, diccionarios, etc. ▶ Puede incluir gráficos vectoriales o raster ▶ La versión más reciente de la especificación del estándar es la v2.0, de 2020, y puede ser adquirida en la web de ISO 75 / 147  Formatos de audio Contenido 6. Formatos de imagen 1. Introducción 7. Formatos de audio MPEG-1 Layer III (MP3) 2. Concepto de formatos y contenedores MPEG-4 Parte 3 (AAC, HE-AAC y xHE-AAC) ACx de Dolby 3. Contenedores multimedia de uso doméstico 8. Formatos de vídeo 4. Contenedores multimedia de uso profesional y doméstico 9. Conclusiones 5. Contenedores de uso exlusivamente profesional 10. Multigeneración 76 / 147  Formatos de audio MPEG-1 Layer III (MP3) Formato MPEG-1 Layer III (MP3) ▶ MPEG-1 Layer III, más conocido como MP3, es un formato de compresión de audio con pérdidas y sus metadatos asociados, desarrollado en los 80’s ▶ Adoptado posteriormente en el grupo MPEG para constituir el sistema de compresión de audio en el estándar MPEG-1 Layer III en 1993 (MPEG-1 Parte 3, ISO/IEC 11172-3) y en MPEG-2 Layer III en 1995 (MPEG-2 Parte 3 -ISO/IEC 13818-3) ▶ MPEG desarrollo 3 técnicas diferentes de codificación de audio: Layers I (MP1), II (MP2) y III (MP3), recogidas las 3 en la Parte 3 del estándar ▶ La diferencia entre las versiones de MPEG-1 y MPEG-2 es mínima, y se reduce a la inclusión de frecuencias de muestreo (48, 44,1 y 32 kHz en MPEG-1) más bajas (la mitad de las anteriores) para reducir a la mitad las velocidades binarias para difusión de señal de TV en MPEG-2, y a permitir pasar de un par de canales estéreo a multicanal 5.1 77 / 147  Formatos de audio MPEG-1 Layer III (MP3) Formato MPEG-1 Layer III (MP3) ▶ Sus ficheros tienen la extensión.MP3 ▶ Se apoya en el modelo psicoacústico de audición para eliminar aquellos componentes no perceptibles o apenas perceptibles, procesando el resto mediante transformación DCT y codificación en subbandas, reduciendo el tamaño de los ficheros en torno a un orden de magnitud ▶ El grado de compresión se puede ajustar, deteriorando más o menos la calidad a costa del tamaño del fichero generado ▶ La explosión en el uso del formato MP3 se produjo en la segunda mitad de los 90’s, cuando se popularizó su uso como formato de intercambio de ficheros de audio en Internet ▶ Artículo interesante de A. Pras et al que hace una comparativa de percepción subjetiva entre formato CD y MP3, con oyentes profesionales y convencionales, y varios tipos de música 78 / 147  Formatos de audio MPEG-1 Layer III (MP3) Velocidades binarias (kbs) y frecuencias de muestreo (Hz) en MP3 79 / 147  Formatos de audio MPEG-4 Parte 3 (AAC, HE-AAC y xHE-AAC) Formato MPEG-4 Parte 3 (AAC) ▶ MPEG-4 Parte 3, más conocido como Advance Audio Codec - AAC, es un formato de compresión de audio con pérdidas, creado en 1997, que genera archivos con extensiones.AAC,.3GP,.MP4,.M4A,.M4B,.M4P,.M4V o.M4R ▶ Estandarizado por ISO/IEC 14496-3 como un formato de codificación perceptual de las señales de audio, incluyendo algunas variantes de codificación de audio avanzado (AAC), codificación de voz y otras herramientas, especialmente para streaming ▶ AAC se hizo pensando especialmente en mejorar la calidad para velocidades binarias bajas, en las que MP3 no responde bien ▶ Presenta un rendimiento en términos de calidad/flujo binario requerido muy bueno, por lo que forma parte del núcleo de los ficheros encapsulados en MP4, está muy presente en la codificación de audio en Internet y en radiodifusión digital. La plataforma iTunes de Apple también se basa en él 80 / 147  Formatos de audio MPEG-4 Parte 3 (AAC, HE-AAC y xHE-AAC) Formato MPEG-4 Parte 3 (AAC) ▶ Es más eficiente que MP3, tanto en complejidad de codificación-decodificación como en flujo binario requerido (hasta un 30 % menos) para un mismo nivel de calidad ▶ Soporta flujos desde 16 kbs hasta 1536 kbs en tres perfiles (AAC-LC, HE-AAC y HE-AACv2) en modo VBR (variable bit rate), frecuencias de muestreo de 16 a 96 kHz, con posibilidad de audio monoaural, estéreo, binaural y multicanales 5.1, 6.1 y 7.1 ▶ Permite incluir protección de derechos de autor y protección anticopia, lo cual, probablemente, ha frenado su expansión frente a MP3 81 / 147  Formatos de audio MPEG-4 Parte 3 (AAC, HE-AAC y xHE-AAC) Formato MPEG-4 Parte 3 (High-Efficiency Advanced Audio Coding - HE-AAC) ▶ Es una extensión de los tres perfiles definidos en el estándar MPEG-2 Parte 7 (AAC) y AAC LC (Low Complexity AAC) ▶ Está optimizado para velocidades binarias bajas, ofreciendo muy alta calidad ▶ Ofrece audio estéreo de buena calidad con velocidades binarias que oscilan entre los 16 y los 48 kbs ▶ Las frecuencias de muestreo que soporta oscilan entre los 24 y 96 KHz ▶ Ofrece la posibilidad de trabajar con canales mono, estéreo y multicanal (5.1, 7.1) ▶ Se desarrollaron dos versiones: HE-AAC v1: también conocido como aacPlus, que ya incorpora la posibilidad de transportar metadatos HE-AAC v2: conocido como aacPlus v2, más eficiente en la compresión respecto a la versión v1 82 / 147  Formatos de audio MPEG-4 Parte 3 (AAC, HE-AAC y xHE-AAC) Extended HE-AAC - xHE-AAC ▶ Combinación de HE-AAC y MPEG-D DRC (Dynamic Range Control) ▶ Proporciona audio de alta calidad para todos los tipos de señales (voz, música o contenidos mixtos), a cualquier velocidad binaria: desde 6 kbs para servicios mono y 12 kbs para servicios estéreo, hasta 500 kbs y superiores ▶ Esta versatilidad lo hace muy adecuado para aplicaciones de radio digital y streaming adaptativo ▶ Muy adecuado para streaming vía MPEG-DASH: permite cambiar a flujos de muy baja velocidad binaria y ofrecer una reproducción continua incluso en condiciones de red muy congestionada. Una vez recuperada la QoS, el reproductor xHE-AAC se adaptará a una velocidad binaria superior y cambiará sin problemas a toda la gama de velocidades, hasta una calidad transparente (aparentemente sin pérdidas) 83 / 147  Formatos de audio ACx de Dolby Formatos ACx ▶ La organización internacional DVB, que desarrolla estándares de televisión digital (vía satélite, cable, terrestre, etc), adoptó los estándares MPEG para el transporte/difusión de señal de TV ▶ Con el tiempo, DVB aceptó también el uso de otras propuestas propietarias (muchas de las cuales acabaron estandarizadas en diferentes foros) ▶ Entre dichas propuestas destacan los siguientes formatos de la empresa Dolby: ▶ AC3 (también conocido como DD - Dolby Digital) ▶ AC3+ (también conocido como DD+ - Dolby Digital+) ▶ AC4 84 / 147  Formatos de audio ACx de Dolby Formato AC3 o Dolby Digital - DD ▶ Dolby Digital - DD fue creado en 1991 como sistema de compresión avanzada de audio con pérdidas, basado en transformación DCT ▶ Soporta configuraciones de sonido con hasta 6 canales independiente: monoaural, estéreo y multicanal hasta 5.1, con frecuencias de muestreo de hasta 48 kHz y flujos binarios de hasta 640 kbs ▶ Estandarizado por ETSI en el documento ETSI TS 102 366 85 / 147  Formatos de audio ACx de Dolby Formato AC3+ o Dolby Digital Plus - DD+ ▶ También conocido como Enhanced AC-3 o Dolby Digital Plus, es un formato de compresión con pérdidas (también basado en DCT) para transporte y almacenamiento de audio, que supone una mejora sobre AC-3 ▶ Estandarizado también por ETSI en el mismo documento que AC-3: ETSI TS 102 366 ▶ Soporta configuraciones de sonido con hasta 15 canales independientes (monoaural, estéreo y multicanal hasta 5.1), con frecuencias de muestreo de hasta 48 kHz (igual que AC-3) y flujos binarios de hasta 6.144 kbs ▶ Proporciona flujos binarios más altos que AC3, lo cual permite mejores calidades ▶ Documento técnico de Dolby sobre AC3+ ▶ Estandarizado por ETSI en el documento ETSI TS 102 366 86 / 147  Formatos de audio ACx de Dolby Informe comparativo de la EBU con distintos codecs de audio - 2007 ▶ Technical Report 3324 (2007) de la EBU comparando varios formatos de audio multicanal (entre ellos MP3, AAC, DD y DD+) mediante las pruebas MUSHRA (MUltiple Stimuli with Hidden Reference and Anchor ) ▶ Ejemplo de tabla de resultados del informe anterior: 87 / 147  Formatos de audio ACx de Dolby Formato AC4 ▶ Formato de compresión de Dolby, publicado en 2015, que proporciona ahorros de hasta el 50 % de flujo binario para una misma calidad de señal en comparación con AC3+ ▶ Orientado a audio inmersivo, combina un sistema de compresión más eficiente que AC3+, y una sintaxis más flexible ▶ Contempla casos de uso de audio inmersivo multicanal de alta calidad, y flujos binarios bajos vía streaming ▶ Soporta el concepto de audio estructurado en objetos para personalizar la QoE ▶ Documento técnico de Dolby sobre AC4 ▶ Estandarizado por ETSI en el documento ETSI TS 103 190-2 88 / 147  Formatos de vídeo Contenido 6. Formatos de imagen DNxHR (VC-3) ProRes 1. Introducción Formatos INTRA de audio y 7. Formatos de audio vídeo 2. Concepto de formatos y Motion JPEG 2000 contenedores 8. Formatos de vídeo JPEG XS Formatos INTRA + INTER de D11 D12 3. Contenedores multimedia de uso vídeo doméstico MPEG-1 MPEG-2 9. Conclusiones H.264 4. Contenedores multimedia de uso HEVC profesional y doméstico AV1 10. Multigeneración VVC 5. Contenedores de uso Actuales proyectos de MPEG exlusivamente profesional Formatos INTRA de vídeo 89 / 147  Formatos de vídeo Formatos de vídeo ▶ Los formatos de almacenamiento e intercambio de vídeo más utilizados, en estos momentos, todos incluyen compresión que, en algunos casos, se puede controlar buscando nun determinado nivel de calidad ▶ Se puede realizar una clasificación de los formatos atendiendo a 2 criterios: ↬ Si incluyen audio o no ↬ En función de si sólo admiten modo INTRA de codificación predictiva (para facilitar las tareas de edición y preservar una calidad de imagen más constante), o ambos modos INTRA e INTER (para aquellos casos en los que se necesita menor flujo binario a costa de una calidad menos constante o menor) ▶ En función de dicha clasificación, se distinguen los siguientes formatos: INTRA + INTER INTRA Vídeo MPEG-1, MPEG-2, AVC VC3, ProRes HEVC, AV1, VVC Audio y Vídeo D11, D12 Motion JPEG 2000, JPEG XS 90 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Contenido 5. Contenedores de uso H.264 exlusivamente profesional HEVC 1. Introducción AV1 6. Formatos de imagen VVC 2. Concepto de formatos y Actuales proyectos de MPEG contenedores Formatos INTRA de vídeo 7. Formatos de audio Formatos INTRA de audio y 3. Contenedores multimedia de uso vídeo doméstico 8. Formatos de vídeo Formatos INTRA + INTER de 9. Conclusiones 4. Contenedores multimedia de uso vídeo profesional y doméstico MPEG-1 MPEG-2 10. Multigeneración 91 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato MPEG-1 ▶ Aprobado en Noviembre de 1992 ▶ Sistema para la transmisión codificada de vídeo y su audio asociado ▶ No restringe la complejidad del codificador, aunque si impone simplicidad al descodificador para que pueda funcionar en tiempo real ▶ La extensión de sus ficheros puede ser.MPG,.MPEG o M1V ▶ MPEG-1 NO especifica un procedimiento de codificación ▶ MPEG-1 Especifica la sintaxis y semántica del flujo de bits, y del procesamiento de señal en el descodificador ▶ MPEG-1 sugiere usar predicción intercuadro con compensación de movimiento bidireccional, transformada DCT y codificación entrópica 92 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato MPEG-1 ▶ Concebido para almacenamiento en dispositivos de CD-ROM interactivo (desde 1,5 Mbs) ▶ Especificaciones de diseño: Descodificación de vídeo: Cuadros tipo I, P, B y D Descodificación de audio: Audio muestreado a 32, 44, 1 y 48 kHz, en versión monofónica (hasta 128 Kbs) o estereofónica (hasta 256 Kbs) Acceso aleatorio: Bidireccional. Necesidad de transmitir cuadros I Sincronización audio-visual: Con precisión Robustez frente a errores: Permitiendo la recuperación en un intervalo de tiempo pequeño Descodificación de otros sistemas: Capaz de descodificar H.261 y JPEG Bajo coste de descodificación: Descodificador implementable con tecnología VLSI 93 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato MPEG-1 ▶ La norma MPEG-1 no especifica parámetros fijos, sino valores máximos, tales como: ▶ Tamaño máximo de cuadro: hasta 4096 × 4096 ▶ Velocidad de transmisión: hasta 105 Mbs ▶ La recomendación está optimizada para almacenamiento de información audiovisual en CD-ROM, con los siguientes valores: ▶ Tamaño de imagen (píxeles): SIF-625 SIF-525 Y 352 × 288 352 × 240 Cr,Cb 176 × 144 176 × 120 ▶ Tasa de cuadros: 25 Hz (SIF-625) y 29,97 Hz (SIF-525) ▶ Velocidad total de transmisión: 1,5 Mbs ▶ Velocidad de transmisión de vídeo: 1,15 Mbs ▶ Formato progresivo ▶ Submuestreo de crominancia: 4:2:0 94 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato MPEG-2 ▶ Aprobado en Noviembre de 1993 ▶ Especifica un sistema para la transmisión codificada de vídeo y su audio asociado, con velocidades binarias en el rango de 3 Mbs a 80 Mbs ▶ Para encapsular los contenidos codificados con este estándar hay 3 tipos de contenedores: Flujo elemental (Elementary Stream - ES): encapsula cada contenido de media por separado Flujo de programa (Program Stream - PS): que encapsula varios contenidos de media, en aplicaciones sin errores de transmisión Flujo de transporte (Transport Stream - TS): igual que PS pero para entornos con posibles errores de transmisión 95 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato MPEG-2 ▶ MPEG-2 fue concebido para codificación de imágenes siguiendo la norma ITU-R BT.601, con velocidades binarias inferiores a 10 Mbs: ▶ 3 a 5 Mbs para calidad de TV estándar ▶ 8 a 10 Mbs para calidad similar a ITU-R BT.601 ▶ Admite estructuras con muestreos de 4:2:0, 4:2:2 y 4:4:4 ▶ Admite vídeo entrelazado y progresivo, con distintos tamaños de cuadro ▶ Es la norma adoptada por el estándar DVB (Digital Video Broadcast) para difusión de señal de TV ▶ La extensión de sus ficheros puede ser.MPG,.MPEG o M2V 96 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato MPEG-2 ▶ Admite muchas variantes, especificadas mediante dos parámetros: Perfil: especifica parámetros que afectan al algoritmo de codificación. Existen 7 perfiles diferentes: Simple, Principal, Escalabilidad SNR, Escalabilidad espacial, Alto, 4:2:2 y MVP (MultiView Profile) Nivel: limita los parámetros que caracterizan a la señal (filas, columnas, tasa de cuadros, etc.) y a la velocidad de transmisión. Existen 4 niveles: Bajo, Principal, Alto 1440 y Alto 97 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato MPEG-2 ▶ Por ejemplo, para el Perfil Principal: Nivel Tamaño Tasa cuadros máx. Velocidad máx. Alto 1920×1152 59,94 Hz 80 Mbs Alto 1440 1440×1152 59,94 Hz 60 Mbs Principal 720×576 29,97 Hz 15 Mbs Bajo 352×288 29,97 Hz 4 Mbs ▶ Para aplicaciones de difusión de señal SD se usa, fundamentalmente, el Perfil Principal (Main Profile), con el Nivel Principal (Main Level), denominado como MP@ML, con muestreo 4:2:0 ▶ Análogamente, para difusión de señal HD se usa el Perfil Alto (High Profile) también con Nivel Principal: HP@ML, 4:2:0 98 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato MPEG-2 ▶ Para mejorar la calidad en entornos de producción se puede usar el perfil 4:2:2, que sólo dispone del nivel principal (422 P@ML) ▶ Esquema similar a MPEG-1: se sugiere usar predicción intercuadro con compensación de movimiento bidireccional, transformada DCT y codificación entrópica 99 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato H.264 o AVC ▶ Aprobado en Mayo de 2003 ▶ Recibe el nombre oficial de ITU-T H.264 y ISO MPEG4 Part 10 of MPEG4 Advanced Video Coding - AVC ▶ Especifica, de nuevo, un sistema para la transmisión codificada de vídeo y su audio asociado ▶ El volumen de aplicaciones a las que va destinado es muy amplio: ▶ Redes de televisión por cable (metálico u óptico) ▶ Servicios de difusión por satélite ▶ Servicios de emisión de vídeo digital bajo suscripción ▶ Redes de difusión terrestre ▶ Medios de almacenamiento interactivos ▶ Redes de provisión de servicios multimedia mediante transmisión por paquetes ▶ Servicios de conversación en tiempo real (videoconferencia, videoteléfono, etc.) ▶ Servicios de almacenamiento (magnetoscopios digitales, discos duros, etc.) 100 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato H.264 ▶ Especifica la sintaxis y semántica del flujo de bits, y del procesamiento de señal en el descodificador ▶ Sugiere usar predicción intercuadro con compensación de movimiento bidireccional, transformadas DCT y Hadamard, y codificación entrópica, pero todo más complejo ▶ H.264 fue concebido para codificación de imágenes siguiendo la norma ITU-R BT.601 para señales SDTV, y la norma ITU-R BT.709 para señales HDTV, aunque puede ser usado con señales UHDTV ▶ La norma ITU-R BT.(DOC. 6/225), aprobada en 2005, proporciona recomendaciones de uso para señales HDTV, con velocidades binarias inferiores a 40 Mbs ▶ Admite señales progresivas y entrelazadas ▶ Admite muestreo 4:2:0, 4:2:2 y 4:4:4 ▶ La extensión de sus ficheros puede ser.MPG,.MPEG o.H264 101 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Diagrama de bloques del codificador H.264 102 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Diferencias más importantes entre H.264 y MPEG-2 ▶ Compensación de movimiento con bloques de tamaño variable, con tamaños mínimos para la luminancia de 4 × 4 ▶ Compensación de movimiento con vectores de precisión 1 4 de píxel ▶ Cuadros P basados en múltiples cuadros de imagen, no en uno único ▶ Mayor libertad a la hora de utilizar cuadros de referencia en los GOPs ▶ Mayor libertad a la hora de determinar el tipo de estimación y compensación de movimiento en zonas de poco cambio ▶ Mayor capacidad de utilizar información de bordes en zonas de alto gradiente en cuadros I ▶ Utilización de filtros de eliminación del efecto de bloque de la DCT 103 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Diferencias más importantes entre H.264 y MPEG-2 ▶ Mayor flexibilidad en la determinación del tamaño del bloque a utilizar en la transformación (desde 4 × 4 a 16 × 16) ▶ Dos tipos de codificación aritmética avanzada, en función del contexto: CABAC (context-adaptive binary arithmetic coding) y CAVLC (context-adaptive variable-length coding) ▶ Unidad de estructura sintáctica denominada NAL (Network Abstraction Layer), más flexible y adaptable a la red usada para el transporte ▶ Nivel de tira más flexible que en MPEG-2 en cuanto a tamaño y ordenamiento ▶ Ordenamiento de macrobloques más flexible también para facilitar la decodificación ▶... 104 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Posibles tamaños de bloques en H.264 105 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Posibles tamaños de bloques en H.264 El tamaño del bloque está relacionado con la textura de la escena: 106 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Ejemplo del efecto del filtro de deblocking en H.264 Imagen original: Imagen decodificada (con QP = 36) sin y con filtro de deblocking: 107 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Perfiles en H.264 ▶ Más perfiles que en MPEG-2 para diferentes aplicaciones ▶ Baseline Profile: codificación Intra e Inter, y condificación entrópica CAVLC ▶ Main Profile: soporta vídeo entrelazado, codificación Inter, y codificación entrópica CABAC ▶ Extended Profile: Sólo soporta vídeo progresivo, modos flexibles de codificación, y condificación entrópica CAVLC 108 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Rendimiento de H.264 H.264 reduce a la mitad, aproximadamente, la velocidad binaria necesaria para conseguir la misma calidad que usando MPEG-2 109 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato H.265 o HEVC ▶ Publicado el 25/11/2013 como ITU-T H.265 y MPEG-H Parte 2 (ISO/IEC 23008-2) ▶ Especifica, de nuevo, la sintaxis y semántica del flujo de bits, y del procesamiento de señal en el descodificador ▶ Sugiere usar predicción intercuadro con compensación de movimiento bidireccional, transformadas, y codificación entrópica, pero todo más más MÁS complejo... ▶ La extensión de sus ficheros puede ser.MPG,.MPEG o.H265 110 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Diagrama de bloques del codificador HEVC 111 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Tabla comparativa de codificadores 112 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Comparativa de rendimientos De nuevo, HEVC reduce, aproximadamente, a algo menos de la mitad la velocidad binaria necesaria para conseguir la misma calidad que usando H.264 113 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato AOMedia Video 1 - AV1 ▶ Uno de los problemas de los codificadores generados por el grupo MPEG es que no están libres de patentes y, por tanto, del pago de royalties por su uso ▶ AV1 surge como codificador de libre distribución, libre de patentes, basado en desarrollos previos de Google (sus propuestas VP9 y VP10), Cisco (codificador Thor) y desarrollos de Mozilla/Xiph.org (codificador Daala) ▶ Desarrolado por la Alliance for Open Media - AOMedia ▶ Sus principios de funcionamiento son similares a AVC y HEVC (codificación híbrida predictivo-transformacional), pero sin hacer hincapié en optimizar el coste computacional y/o tiempo de proceso para tiempo real 114 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato AOMedia Video 1 - AV1 ▶ Disponible su código de referencia desde marzo de 2018 ▶ Entre sus características destacan: ▶ Procesado en dos pasadas: una primera de estimación de parámetros básicos (GOP, bloque, tipo de cuadro, etc) y una segunda de optimización de los criterios anteriores ▶ Cuantificación adaptativa ▶ Estructuras sub-GOPs dinámicas ▶ Estrategia exhaustiva de optimización tasa-distorsión (Rate Distorsion Optimization - RDO) con 3 modos de operación: CBR, VBR y CQ (Constant Quality ) ▶ La especificación completa está descrita en el documento AV1 Bitstream & Decoding Process Specification 115 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato AOMedia Video 1 - AV1 ▶ Hasta la fecha, AV1 ha conseguido posicionarse como el codificador de vídeo de referencia en aplicaciones web, pero no ha conseguido desbancar a los codificadores generados por MPEG en la industria de Broadcast ▶ Algunos proveedores de servicio de VoD, como Netflix, han decidido incorporar codificadores libres de royalties en sus reproductores ▶ En pruebas de laboratorio, AV1 ha demostrado ser un 50,3 % más eficiente (en términos de velocidad binaria vs PSNR) que H.264 Main Profile, y un 46,2 % que H.264 High Profile, y similar a H.265 (dependiendo de la secuencia probada) ▶ Dado que MPEG ya está evolucionando a H.266, la AOM ya ha lanzado el desarrollo del sucesor de AV1: AV2, con la misma filosofía de código abierto y libre de royalties, y con el objetivo de posicionarse en la industria de Broadcast 116 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Formato Versatile Video Coding - VVC ▶ Es la evolución natural de HEVC ▶ Desarrollado por los siguientes grupos: Joint Video Experts Team - JVET, ITU-T Video Coding Expert Group - VCEG, e ISO/IEC Motion Picture Experts Group - MPEG ▶ Su desarrollo arrancó en marzo de 2018, y se completó en agosto de 2020. Se ha recogido como estándar ITU-T H.266 en 2020, contando ya con una actualización de 2022 ▶ Las pruebas realizads ya han mostrado entre un 8 % y un 23 % de ahorro de velocidad binaria para los mismos valores de PSNR en el vídeo, con un coste de entre 2× y 9× en codificación, y entre un 0,8× y 2× en decodificación, siempre en comparación con HEVC ▶ Las principales mejoras sobre HEVC (estructura de bloques, estrategias de predicción intra e inter, transformación de la señal de error de predicción, codificación entrópica, etc.) están descritas en el Joint Exploration Test Model - JEM 117 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Comparativa AVC - HEVC - AV1 - VVC Comparativa3 de Velocidad binaria (b/s) vs PSNR (dB) para varias secuencias codificadas con AVC, HEVC, AV1 y VVC: Complejidad espacial y temporal de las secuencias 3 J.Y. Aubié et al, Understanding the Video Codec Jungle: A Comparison of TCO and Compression Efficiency. SMPTE Motion Imaging Journal, Vol. 128, No. 10, págs. 25-32, 2019 118 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Comparativa AVC - HEVC - AV1 - VVC Conclusiones de la comparativa: ▶ AV1 es ligeramente más eficiente que HEVC, a costa de una mayor complejidad y tiempo de procesado, y además NO incluye royalties ▶ VVC es el codificador más eficiente en estos momentos, si bien incluye royalties 119 / 147  Formatos de vídeo Formatos INTRA + INTER de vídeo Proyectos en marcha de MPEG El grupo MPEG sigue creando nuevos codificadores: Essential Video Coding - EVC: también conocido como MPEG-5 EVC, se plantea como alternativa a HEVC para señal UHD. Incluye dos perfiles: Baseline (libre de royalties) que ofrece calidad similar a AVC High 10, y Main-Profile (con mejoras que incluye patentes) similar a HEVC Main 10 Low Complexity Enhancement Video Coding - LCEVC: Es la parte 2 de MPEG-5 orientada a live-