Tema 1 revisión de conceptos básicos PDF

TEMA 1 REVISION DE CONCEPTOS BASICOS JESUS GARCIA JIMENEZ, UPM PREAMBULO LA TELEVION ANALOGICA ERA MUY ROBUSTA: LA SEÑAL ERA ENORMEMENTE REDUNDANTE. ESTA SEÑAL SE MUESTREA RESULTANDO UNA SEÑAL DIGITAL. A ESTA SEÑAL LE QUITAMOS TODAS LAS REDUNDANCIAS POSIBLES. (COD...

TEMA 1 REVISION DE CONCEPTOS BASICOS JESUS GARCIA JIMENEZ, UPM PREAMBULO LA TELEVION ANALOGICA ERA MUY ROBUSTA: LA SEÑAL ERA ENORMEMENTE REDUNDANTE. ESTA SEÑAL SE MUESTREA RESULTANDO UNA SEÑAL DIGITAL. A ESTA SEÑAL LE QUITAMOS TODAS LAS REDUNDANCIAS POSIBLES. (CODIFICACION DE FUENTE). EL RESULTADO ES UNA SEÑAL MUY FACILMENTE PERTURBABLE HAY QUE PROTEGERLA: CODIFICACION DE CANAL Y ENTRELAZADO. PREAMBULO TENEMOS ADEMAS MUCHOS PROBLEMAS: LOS CANALES DE TRANSMISION NO SON PERFECTOS. RUIDO. PROPAGACION MULTITRAYECTO. INTERFERENCIAS DE OTROS SERVICIOS. ESCASEZ DE FRECUENCIAS, ESPECTRO LIMITADO. EL HARDWARE TAMBIEN TIENE SUS LIMITACIONES. NO LINEALIDADES. SINCRONIZACIONES. MULTIPLES IMPERFECCIONES…. HAY QUE BUSCAR SOLUCIONES A TODOS LOS PROBLEMAS. PREAMBULO ¿Qué pasa si no conseguimos resolver los problemas? TASA DE ERROR INTERVALO MEDIO ENTRE ERRORES 10-4 2 mseg. 10-5 20 mseg. 10-6 200 mseg. 10-7 2 seg. 10-8 20 seg. 10-9 3 minutos 20 seg REVISION DE CONCEPTOS BASICOS “HISTORIA ANTIGUA”  BIBLIOGRAFIA - F. Tarrés Ruiz, Sistemas audiovisuales. 1. Televisión analógica y digital. Temas 1 y 2. Edicions UPC (2000) - A. Martín Marcos, Sistemas de Televisión. Capítulo 2: Fundamentos básicos de Televisión. Editorial Ciencia 3 (1996) - T. Bethencourt, Sistemas de TV clásicos y avanzados. Editorial del Instituto Oficial de Radio y Televisión, IORTV (1991) - T. Perales, Televisión Actual. Editorial Paraninfo (2001) ANALISIS SECUENCIAL DE LA IMAGEN Escena Cámara Señal Pantalla Señal Óptica Eléctrica Señal Eléctrica  S. Eléctrica  S. óptica PROGRESIVA ENTRELAZADA APARECE PARPADEO RESOLUCION VERTICAL RESOLUCION VERTICAL: NUMERO DE LINEAS H/N H /N tg      D 5H 1   1,5' 5N H N  548 D ELEMENTO DURACION FRECUENCIA CUADRO 40 ms 25 CUADROS/S CAMPO 20 ms 50 CAMPOS/S LINEA 64 μs 15.625 Hz ANCHO DE BANDA DE LA SEÑAL DE VIDEO LA ANCHURA DE LOS CUADRADOS ES LA DE UNA LINEA EN SENTIDO VERTICAL HAY 575 EN SENTIDO HORIZONTAL HAY 575 x 4/3 RELACION DE ASPECTO 4/3: 575 *575*4/3 CUADRADOS (575 *575*4/ 3)/ 2 PERIODOS DE LA SEÑAL La parte activa de una línea dura 64 μs(1-0.18) El damero se explora en 575 x 64 μs(1-0.18) fmax=7,3 MHz ANCHO DE BANDA DE LA SEÑAL DE VIDEO LA COTA DE 7,3 MHz ES DEMASIDO PESIMISTA: EL “SPOT” UN HAZ DE ELECTRONES ES “CIRCULAR” EL HAZ ESTARÁ DESPLAZADO RESPECTO AL DAMERO: LAS TRANSICIONES NO SERÁN BRUSCAS SE APLICA UN FACTOR DE UTILIZACIÓN 2/3 fmáx=7,3 MHz x 2/3= 4,8 MHz SE TOMA COMO VALOR PRACTICO 5 MHz DEPENDE DE: EL NUMERO DE LINEAS LA RELACION DE ASPECTO ANCHO DE BANDA DE LA SEÑAL DE VIDEO LA COTA INFERIOR DEL ESPECTO ES LA FRECUENCIA 0: LAS GRANDES AREAS DE LA IMAGEN NO TIENEN VARIACIONES, SU BRILLO ES CONSTANTE EL ANCHO DE BANDA DE UNA SEÑAL DE VIDEO, CON LAS HIPOTESIS MANEJADAS, VA DE 0 A 5 MHz SEÑALES R,G,B. EB E’B CORRECCION T. CAMARA DE GAMMA ESPEJOS DICROICOS EG E’G CORRECCION T. CAMARA DE GAMMA ER CORRECCION E’R T. CAMARA DE GAMMA SEÑALES DE DIFERENCIA DE COLOR Y  0.3 R  0.59 B  0.11 B V  0,88  R  Y   0,88  0.7 R  0.59 G  0.11 B  U  0.49  B  Y   0.49   0.3 R  0.59 G  0.89 B  LAS SEÑALES U y V TIENEN EL MISMO ANCHO DE BANDA SEÑAL ATENUACION FRECUENCIA U 20 dB 4 MHz MODULACION Y BANDA OCUPADA Pv 0,75 MHz 5,85 MHz 0,5 MHz 0,5 MHz 5,5 MHz f fpv fps fpNICAM 5 MHz 7 MHz (norma B) MUESTREO  BIBLIOGRAFIA U. Reimers, DVB The Family of International Standars for Digital Video Broadcasting. Ed. Springer, 2005 Hervé Benoit, Digital Television,(second edition), Elsevier, ISBN 13: 978-0-240-51695-0, ISBN 10: 0- 240-51695-8.  MUESTREO (1) SEÑAL EN BANDA DE BASE 6 MHz FRECUENCIA DE MUESTREO 13.5 MHz f=864xfH (625 Lineas) f=858xfH (525 Lineas) LA PARTE VISIBLE DE LA LINEA 720 MUESTRAS MUESTREO ORTOGONAL Las muestras en los mismos puntos de la imagen Hervé Benoit, Digital Television,(second edition), Elsevier, ISBN 13: 978-0-240-51695-0, ISBN 10: 0-240-51695-8. MUESTREO (2) FORMATOS: La Luminacia y la Crominancia tienen diferentes anchos de banda: Se muestrean a 13.5 MHz y 6.75 MHz FORMATO 4:2:2: 720 Muestras de luminacia por linea 360 Muestras de crominancia por linea Hervé Benoit, Digital Television,(second edition), Elsevier, ISBN 13: 978-0-240-51695-0, ISBN 10: 0-240-51695-8. MUESTREO (3) FORMATO 4:2:2 : RESOLUCION: No se pierde Nº DE BITS POR SEGUNDO: Luminancia: 13.5 x 8 ó 13.5 x 10 Crominancia: 2x6.75x8 ó 2x6.75x10 TOTAL: 216 MBIT/S ó 270 MBIT/S REDUCIBLE A 216 MBIT/S MUESTREO (4) FORMATO 4:2:0: USADO EN LA MAYOR PARTE DE LAS APLICACIONES (SE SOPORTAN EL 4:2:2 Y EL 4:4:4) RESOLUCION: Suficiente MP@ML FORMATOS DE SEÑALES DE TELEVISION TELEVISION DE DEFINICION ESTANDAR (SDTV) DEJÓ DE USARSE EL 14 DE FEBRERO DE 2024 (EN ESPAÑA) TELEVISION DE ALTA DEFINICION (HDTV) Mejor calidad de imagen que la televisión estándar. CODIFICACION SDTV HDTV MPEG2 Main Profile@Main Level Main Profile@High Level MP@ML MP@HL 4-9 Mb/s. 18-25 Mb/seg. MPEG-4/AVC 7-13 Mb/seg. (MPEG4 Part 10, H.264) FORMATOS DE SEÑALES DE TELEVISION RELACION EXPLORACION RESOLUCION RESOLUCION COCIENTE APLICACIÓN DE ESPACIAL TEMPORAL R. ESPACIALES OPTIMA ASPECTO Y R. TEMPORALES SDTV 4:3 ENTRELAZADA 720x576 25 (30) 1 1 - HD 720 p 16:9 PROGRESIVA 1280x720 50 (60) 2 2 Imágenes Misma resolución deportivas y vertical y horizontal cinematograficas HD 1080i 16:9 ENTRELAZADA 1920x1080 25 (30) 5 1 Imágenes Misma resolución cinematograficas vertical y horizontal HD 1080p 16:9 PROGRESIVA 1920x1080 50 (60) 5 2 Imágenes Misma resolución deportivas y vertical y horizontal cinematograficas REVISION DE CONCEPTOS BASICOS “HISTORIA MODERNA” INTRODUCCION A MPEG2 BIBLIOGRAFIA U. Reimers, DVB The Family of International Standars for Digital Video Broadcasting. Ed. Springer, 2005 Hervé Benoit, Televisión digital, Ed. Paraninfo, 1998,ISBN: 8428324832. REDUNDANCIA EN LAS IMAGENES REDUNDANCIA ESPACIAL En el mismo cuadro DCT CUANTIFICACION EXPLORACION DE LOS COEFICIENTES REDUNDANCIA DE ENTROPIA Códigos más frecuencia que otros RLC, VLC REDUNDANCIA TEMPORAL En cuadros diferentes COMPENSACION DE MOVIMIENTO IMÁGENES I,P Y B DCT DISCRETE COSINE TRANSFORM TRANSFORMACION REVERSIBLE DOMINIO 2D (Imagen) a DOMINIO 2D (funciones base) CADA 8 X 8 PIXELS SE OBTIENEN 8 X 8 COEFICIENTES DISCRETIZADOS EN 11 BITS SOLO SE MUESTREA LA PARTE VISIBLE DE LA IMAGEN: 576 LINEAS: 72 BLOQUE DE 8 PIXELS 720 PIXELS/LINEA: 90 BLOQUES DE 8 PIXELS 84.5 33 0 -4.1 0 -1.1 0 0 -32 25 0 12 0 0 0 0 11 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Hervé Benoit, Televisión digital, Ed. Paraninfo, 1998,ISBN: 8428324832. 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 CUANTIFICACION Y EXPLORACION OBJETIVO REDUCIR EL Nº DE BITS PROCESO DE PONDERACION+DISCRETIZACION A CADA COEFICIENTE SE LE APLICA UNA CUANTIFICACION DIFERENTE Los coeficientes de alta frecuencia toleran más error que los de baja frecuencia El ruido de cuantificación es menos visible en luminancia que en crominancia Hervé Benoit, Televisión digital, Ed. Paraninfo, 1998,ISBN: 8428324832. COMPRESION DE ENTROPIA: RUN LENGTH CODE LAS CADENAS DE COEFICIENTES CONTIENEN CADENAS DE VARIOS 0 CONSECUTIVOS CONTAR LOS COEFICIENTES NULOS QUE PRECEDEN A UN COEFICIENTE NO NULO LA LONGITUD Y EL COEFICIENTE NO NULO SE COMBINAN Y EL RESULTADO SE CODIFICA ASIGNAR PALABRAS DE CODIGO A LAS COMBINACIONES GENERADAS LAS CADENAS DE CEROS TIENEN DIFERENTE PROBABILIDAD SEGÚN SU LONGITUD TAMBIEN SON MAS PROBABLES LOS COEFICIENTES DE VALOR BAJO QUE LOS COEFICIENTES DE VALOR ALTO SE ASIGNAN PALABRAS DE CODIGO MAS CORTAS A LAS CADENAS MAS FRECUENTES COMPRESION TEMPORAL CONSIDERAMOS CUADROS SUCESIVOS Un cuadro cambia poco frente al siguiente Se trata de predecir un cuadro a partir de otro EL PROCESO ES: Codificamos el cuadro n-simo Localmente lo decodificamos A partir de la decodificación, se predice el cuadro siguiente Se resta el cuadro siguiente real del predicho Se codifica y se transmite solo la diferencia COMPRESION TEMPORAL S.R. Ely “MPEG Video, a simple introducction”, EBU Technical Review, Winter 1995. LA COMPENSACION BIDIRECCIONAL: OBLIGA A REORDENAR LAS IMÁGENES – EN TRANSMISION – DEBEN RECIBIRSE PRIMERO LAS REFERENCIAS – INTRA-PICTURES (I-PICTURES) Sin referencia a otras imágenes Compresión moderada – IMÁGENES PREDICTIVAS Necesitan una imagen I ó P pasada Compresión Mejorada Se pueden usar como referencia – IMÁGENES BIDIRECCIONALES Necesitan imágenes I ó P, pasadas o futuras. Se transmite siempre después de sus referencias (pasadas o futuras) COMPRESION TEMPORAL GRUPOS DE IMÁGENES Es habitual usar un N=12 y M=3 8.33% de imágenes I 25 % de imágenes p 66.60% de imágenes B Rec 601 IMAGEN IMAGEN IMAGEN IMAGEN (830 KBYTES) (830 KBYTES) (830 KBYTES) (830 KBYTES) IMAGEN I IMAGEN B IMAGEN P IMAGEN P 100 KBYTES 12 KBYTES 33 KBYTES 33 KBYTES PERFILES Y NIVELES SOPORTAR UN RANGO AMPLIO DE APLICACIONES CONJUNTO DE ALGORITMOS Y HERRAMIENTAS SINTAXIS UNICA SUBCONJUNTO DE HERRAMIENTAS:PERFILES DENTRO DE CADA PERFIL SE DAN CONJUNTOS DE PARAMETROS: NIVELES  PERFILES Y NIVELES SIGNIFICADO DE LOS NIVELES PERFIL SIMPLE MAIN SNR SPATIAL HIGH NIVEL Low: resolucion baja MPEG1 HIGH 4:2:0 4:2:0. 4:2:2 MAIN: Resolución Normal 4:2:0 1920 x 1152 1920 x 1152 HIGH-1440: Televisión Alta definición 80 Mb/s 100 Mb/s I, P, B I, P, B HIGH: Televisión Alta Definición HIGH-1440 4:2:0 4:2:0 4:2:0, 4:2:2 1440 x 152 1440 x 1152 1440 x 1152 SIGNIFICADO DE LOS PERFILES 60 Mb/s 60 Mb/s 80 Mb/s I, P, B I, P, B I, P, B SIMPLE: No usa predicción B MAIN 4:2:0 4:2:0 4:2:0 4:2:0, 4:2:2 760 x 576 720 x 576 720 x 576 720 x 576 MAIN: Mejor compromiso usa I,P y B 15 Mb/s 15 Mb/s 15 Mb/s 20 Mb/s I, P I, P, B I, P, B I, P, B SCALABLE: Spacially o SNR HIGH: Alta deficinicón LOW 4:2:0 4:2:0 352 x 288 352 x 288 4 Mb/s 4 Mb/s I, P, B I, P, B TASAS BINARIAS HDTV Rec. 709 1.485 Gb/s 10-bit Rec. 601 270 MB/s Digital Betacam ~90 MB/s MPEG-2 (contribución) 18 - 50 MB/s MPEG-2 HDTV distribución 19 - 38 MB/s MPEG-2 SDTV distribución 2 - 8 MB/s MPEG-1 0.5 - 1.8 Mb/s H.261, H.263 videoconferencia 4 kb/s - 2 Mb/s EFECTO DE LOS ERRORES ES UNA SEÑAL EN LA QUE HAN ELIMINADO TODAS LAS REDUNDANCIAS QUE HA SIDO POSIBLE: – MUY SENSIBLE A LAS PERTURBACIONES SE CODIFICAN UNAS IMÁGENES RESPECTO A OTRAS – ES POSIBLE QUE UN MISMO ERROR AFECTE A MAS DE UNA IMAGEN. – PROPAGACIÓN DE LOS ERRORES – MUY VISIBLES LA IMPORTANCIA DE UN ERROR DEPENDE DE EN QUÉ MOMENTO SE HAYA PRODUCIDO: – CABECERA, DATOS… PREAMBULO ¿Qué pasa si no conseguimos resolver los problemas? TASA DE ERROR INTERVALO MEDIO ENTRE ERRORES 10-4 2 mseg. 10-5 20 mseg. 10-6 200 mseg. 10-7 2 seg. 10-8 20 seg. 10-9 3 minutos 20 seg CODIFICACION DE FUENTE H.264/MPEG4 AVC BIBLIOGRAFIA Gary J. Sullivan, and Thomas Wiegand, "Video Compression—From Concepts to the H.264/AVC Standard", Proceedings of the IEEE, vol. 93, nº. 1, January 2005,Digital Object Identifier 10.1109/JPROC.2004.839617 Thomas Wiegand, Gary J. Sullivan, Gisle Bjøntegaard, and Ajay Luthra, “Overview of the H.264/AVC Video Coding Standard”, IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, no. 7, July 2003, Digital Object Identifier 10.1109/TCSVT.2003.815165 Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006. Marcelo Sampaio, Digital Television Systems, Cambridge University Press, ISBN 978-0-521-89602-3 A. Luthra, G. J. Sullivan, and T. Wiegand, Eds., Special issue on the “H.264/AVC Video Coding Standard,” IEEE Trans. Circuits and Sys. for Video Tech., vol. 13, no. 7, July 2003 Thomas Wiegand, Heiko Schwarz, Anthony Joch, Faouzi Kossentini, Gary J. Sullivan, “Rate-Constrained Coder Control and Comparison of Video Coding Standards”, Special issue on the “H.264/AVC Video Coding Standard,” IEEE Trans. Circuits and Sys. for Video Tech., vol. 13, no. 7, July 2003. Soon-kak Kwon, " A. Tamhankar, K.R. Rao,Overview of H.264/MPEG-4 part 10", Elsevier, J. Vis. Commun. Image R. 17 (2006) 186–216, Available online, doi:10.1016/j.jvcir.2005.05.010 RECOMENDACIÓN H.264 (08-2021), (versión 14) H.264/MPEG4 AVC INTRODUCCION Jeremiah Golston,Dr. Ajit Rao,"Video Compression:System Trade-Offs with H.264, VC-1 and Other Advanced CODECs", 2006, White paper Texas Instruments, disponible en la web. DESARROLLADO POR EL JOINT VIDEO TEAM (JVT) DEL ITU-T Y MPEG (JVT) HA TENIDO VARIAS MEJORAS A LO LARGO DE LOS AÑOS. – FIDELITY RANGE EXTENSION (FRExt, 2.005) LA ESPECIFICACION EN VIGOR ES LA Recommendation ITU-T H.264, QUE HA TENIDO 14 REVISIONES DESDE SU PRIMERA REVISION EN 2.003. A PARTIR DEL 14-FEB-2024 ES DE USO OBLIGATORIO EN ESPAÑA PARA HDTV ESTRUCTURA DE CAPAS SE HAN ESPECIFICADO DOS CAPAS: EL H.264/AVC VCL (VIDEO CODING LAYER) EL H.264/AVC NAL (NETWORK ABSTRACTION LAYER)  H.264/MPEG4 AVC VIDEO CODING LAYER CONCEPTOS BASICOS INSPIRADO EN MPEG-2 USA PREDICCION ESPACIAL Y TEMPORAL BASADA EN BLOQUES (MACROBLOQUES DE 16X16 PIXELES. USA UNA TRANSFORMACION BASADA EN BLOQUES. Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 CONCEPTOS BASICOS SECUENCIA DE VIDEO CODIFICADO EN H.264/MPEG4-AVC: ES UNA SECUENCIA DE IMÁGENES CODIFICADAS LAS IMÁGENES PUEDEN SER UN CUADRO COMPLETO O UN CAMPO CUADRO: DOS CAMPOS INTERCALADOS LOS DOS CAMPOS CORRESPONDEN AL MISMO INSTANTE. CUADRO: DOS CAMPOS ENTRELAZADOS. LOS DOS CAMPOS CORRESPONDEN A DIFERENTES INSTANTES DE TIEMPO. EL CUADRO TAMBIEN PUEDE SER PROGRESIVO SE DIVIDE LA IMAGEN EN BLOQUES DE MUESTRAS. SI ES LA PRIMERA IMAGEN SE CODIFICA EN MODO INTRA CADA BLOQUE SE PREDICE USANDO LOS BLOQUES VECINOS DE BLOQUES PREVIAMENTE CODIFICADOS SI ES CUALQUIER OTRA IMAGEN SE CODIFICA EN MODO INTER SE PREDICE LA IMAGEN MEDIANTE COMPENSACION DE MOVIMIENTO USANDO IMÁGENES PREVIAMENTE CODIFICADAS EL RESIDUO DE LA PREDICCION SE TRANSFORMA, SE ESCALA, Y SE CUANTIFICAN Y SE CODIFICAN ENTROPICAMENTE CONCEPTOS BASICOS Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 MACROBLOQUES Y SLICES SE DIVIDE LA IMAGEN EN BLOQUES DE MUESTRAS. SON DE TAMAÑO FIJO. 16X16 PIXELES PARA LA LUMINANCIA SI SE USA EL FORMATO 4:2:0, LA CROMINANCIA SE DIVIDE EN BLOQUES DE 8X8 PIXELES LOS MACROBLOQUES SE ORGANIZAN EN “SLICES” CONJUNTO DE MACROBLOQUES QUE SE PUEDEN DECODIFICAR SIN UNA REFERENCIA A INFORMACION DE OTRAS “SLICES” LAS MACROBLOQUES DE UNA SLICE PUEDEN SER CONSECUTIVOS O NO (FMO, Flexible Macroblock Ordering) Gary J. Sullivan, and Thomas Wiegand, HAY CINCO TIPOS DE SLICES: "Video Compression— From Concepts to the H.264/AVC Standard", SLICE I Proceedings of the IEEE, vol. 93, nº. 1, January 2005, Digital Object Identifier 10.1109/JPROC.2004.839617 SLICE P SLICE B SLICE SI SLICE SP MODOS DE CODIFICACION CODIFICACION EN MODO FRAME O EN MODO FIELD: UN CUADRO PROGRESIVO SE PUEDE DESCONPONER EN DOS CAMPOS SE INTRA CODIFICA EL PRIMERO SE PREDICE EL SEGUNDO CON LA COMPENSACION DEL MOVIMIENTO ES EFICAZ PERMITE CREAR UN PUNTO DE ACCESO ALEATORIO EN LA SECUENCIA EN ESCENAS CON MOVIMIENTOS FUERTES ES VENTAJOSO USAR LA CODIFICACION EN MODO CAMPO. PUEDE SER CONVENIENTE CODIFICAR EN MODO CAMPO UNA PARTE DE LA IMAGEN Y OTRA PARTE EN MODO CUADRO. MACROBLOCK ADAPTATIVE SWITCHING BETWEEN FRAME AND FIELD CODING MBAFF INTRAPREDICTION SE TRATA DE REDUCIR LA REDUNDANCIA ESPACIAL (INTRA PREDICTION) EN LOS ESTANDARES ANTIGUOS LA REDUCCION DE LA REDUNDANCIA ESPACIAL SE BASA EL LA TRANSFORMACION DE DOMINIOS EN H.264 SE BASA EN LA PREDICCION DE MUESTRAS A PARTIR DE LAS MUESTRAS VECINAS QUE SE HAN CODIFICADO Y TRANSMITIDO. ES UN ELEMENTO CLAVE (“BOTTLENECK”) PARA REDUCIR LA TASA BINARIA. INTRAPREDICTION Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 Soon-kak Kwon, " A. Tamhankar, K.R. Rao,Overview of H.264/MPEG-4 part 10", Elsevier, J. Vis. Commun. Image R. 17 (2006) 186–216, Available online, doi:10.1016/j.jvcir.2005.05.010 INTER PREDICTION P-SLICES SE BUSCA REDUCIR LA REDUNDANCIA ESPACIAL Y LA TEMPORAL UNA IMAGEN SE PUEDE DIVIDIR EN MACROBLOQUES O EN BLOQUES MAS PEQUEÑOS. MACROBLOQUES 16x16 SUBMACROBLOQUES 8x8 SE PUEDEN SUBDIVIDIR EN SE PUEDEN SUBDIVIDIR EN BLOQUES DE: BLOQUES DE: 16x16 8x8 16x8 8x4 8x16 4x8 8x8 4x4 LA ELECCION DEL TAMAÑO DEL BLOQUE DEPENDE DE LAS CARACTERISTICAS DE LA IMAGEN. – GRANDES PARTICIONES AREAS HOMOGENEAS. – PEQUEÑAS PARTICIONES DETALLES FINOS. INTER PREDICTION P-SLICES LA PREDICCION SE OBTIENE DESPLAZANDO UN BLOQUE DE UNA IMAGEN DECODIFICADA COMPARANDOLO CON BLOQUES DE LA IMAGEN PRESENTE. EL DESPLAZAMIENTO SE MEDIANTE UN VECTOR DE MOVIMIENTO Y UN INDICE DE IMAGENES DE REFERENCIA. EL NUMERO DE VECTORES DE DESPLAZAMIENTO DEPENDE DEL TAMAÑO DE LOS BLOQUES QUE SE ESTEN USANDO. LA PRECISION DEL VECTOR DE DESPLAZAMIENTO TIENE UNA RESOLUCION DE ¼ DE LA DISTANCIA ENTRE MUESTRAS DE LUMINANCIA. SI EL DESPLAZAMIENTO NO ES UN NUMERO ENTERO DE MUESTRAS SE PROCEDE MEDIANTE UNA INTERPOLACION Y/O FILTRADO. SI EL DESPLAZAMIENTO ES UN NUMERO ENTERO DE MUESTRAS, SE USAN SIMPLEMENTE LAS MUESTRAS DE LA IMAGEN DE REFERENCIA. INTER PREDICTION B-SLICES Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 LAS SLICES B (BI PREDICTIVES) SE PUEDEN USAR COMO REFERENCIA PARA LA COMPENSACION DE MOVIMIENTO EN OTRAS SLICES LA COMPENSACION DE MOVIMIENTO NO TIENE QUE HACERSE CON UNA IMAGEN ANTERIOR Y OTRA POSTERIOR. CUALQUIER PAR ARBITRARIO DE IMÁGENES SE PUEDEN USAR COMO REFERENCIA EN CADA ZONA. POCAS DIFERENCIAS ENTRE LAS IMÁGENES P Y B LAS B TIENEN BLOQUES QUE SON UNA MEDIA PONDERADA QUE PROVIENE DE MAS DE UNA IMAGEN. INTER PREDICTION B-SLICES CUALQUIER PAR ARBITRARIO DE IMÁGENES SE PUEDEN USAR COMO REFERENCIA EN CADA ZONA. ES NECESARIO GUARDAR LAS IMÁGENES E INDEXARLAS. HAY DOS LISTAS DE IMÁGENES DE REFERENCIA LISTA 0 Y LISTA 1 SE ORDENAN SEGÚN MARCA EL CODIFICADOR. PERMITEN DEFINIR CUATRO TIPOS DE B-SLICES , SE INDEPENDIZA EL ORDEN DE PRESENTACION DE LAS IMÁGENES Y EL ORDEN DE LAS IMÁGENES DE REFERENCIA: MUCHA MAYOR FLEXIBILIDAD QUE EN LOS ESTANDARES PREVIOS, EN LOS QUE SE LA PREDICCION B INTRODUCIA RETARDOS. TRANSFORMACION Y CUANTIFICACION SE BUSCA REDUCIR LA REDUNDANCIA ESPACIAL DE LOS RESIDUOS MEDIANTE UNA TRANSFORMACION USA UNA TRANSFORMACION ENTERA DE DIFERENTES TAMAÑOS DE BLOQUES 4x4 y 8x8 (SOLO EN NIVELES ALTOS Y AÑADIDO EN VERSIONES POSTERIORES, FRExt) INTERESA USAR BLOQUES PEQUEÑOS: EL PROCESO DE PREDICCION (INTER E INTRA) CONDUCE A RESIDUOS CON MENOS CORRELACION ESPACIAL. APARECE MENOS RUIDO EN LOS BORDES. REQUIERE MENOS ESFUERZO COMPUTACIONAL. BLOQUES DE 8x8 EN NIVELES ALTOS: CONSERVAR SUAVIDAD, TEXTURAS… TRANSFORMACION Y CUANTIFICACION SE APLICA SEGUNDA UNA TRANSFORMACION (HADAMARD) A LA LUMINANCIA EN LOS MODOS INTRA 16x16 Y LA CROMINANCIA EN TODOS LOS MODOS INTRA. SE APLICA A LOS COEFICIENTES DE DC DE MODO QUE EL COEFICIENTE DE LA FUNCION DE BASE DE MENOR FRECUENCIA ABARQUE TODO EL MACRO BLOQUE. ESTA TRANSFORMACION ES DE 4x4 EN EL CASO DE LA LUMINANCIA Y 2x2 EN EL CASO DE LA CROMINANCIA. TRANSFORMACION Y CUANTIFICACION LOS COEFICIENTES RESULTANTES DE LA TRANSFORMACION SE CUANTIFICAN CON UN PASO QUE DEPENDE DE UN PARAMETRO DE CUANTIFICACIÓN (QP) QUE PUEDE TOMAR 52 VALORES ,. EL PROCESO DE TRANSFORMACION Y QUANTIFICACION ES COMPLEJO. SE MODIFICA PARA EVITAR LAS MULTIPLICACIONES. LOS PROCESOS DE TRANSFORMACION, CUANTIFICACION SE COMBINAN DE MODO QUE LOS COEFICIENTES SEAN NUMEROS ENTEROS. TRANSFORMACION Y CUANTIFICACION ANTES DE LA CODIFICACION ENTROPICA LOS COEFICIENTES QUE RESULTAN DE LAS TRANSFORMACIONES SE ESCANEAN SEGÚN VARIOS PATRONES. Soon-kak Kwon, " A. Tamhankar, K.R. Rao,Overview of H.264/MPEG- 4 part 10", Elsevier, J. Vis. Commun. Image R. 17 (2006) 186– 216, Available online, doi:10.1016/j.jvcir.2005.05.010 FILTRO DEBLOCKLING Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 FILTRO DEBLOCKLING H.264/MPEG4 AVC CODIFICA LAS IMÁGENES CON UNA DIVISION EN BLOQUES PARA LOGRAR BAJAS TASAS BINARIAS ES NECESARIA UNA DISCRETIZACION GRUESA APARECEN DISCONTINUIDADES A LO LARGO DE LOS BORDES DEL BLOQUE LOS MECANISMOS DE COMPENSACION DE MOVIMIENTO PRECIDEN LOS ELEMENTOS DEL BORDE DE LOS BLOQUES CON POCA PRECISION Y PROCAN ERRORES MUY VISIBLES TAMBIEN EN EL INTERIOR DE LOS BLOQUES. EL FITRO TIENE QUE ADAPTARSE A DIFERENTES NIVELES, SLICE, BLOQUE… CONTRIBUYE A REDUCIR LA TASA BINARIA NECESARIA EN UN 5 Ó UN 10% FILTRO DEBLOCKLING Thomas Wiegand, Gary J. Sullivan, Gisle Bjøntegaard, and Ajay Luthra, “Overview of the H.264/AVC Video Coding Standard”, IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, no. 7, July 2003, Digital Object Identifier 10.1109/TCSVT.2003.815165 CONSULTAR LA FIGURA 17 DE O LA FIGURA 9 DE CODIFICACION ENTROPICA Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 CODIFICACION ENTROPICA MUY POCOS ELEMENTOS SE CODIFICAN CON UN CODIGO DE LONGITUD FIJA LA MAYOR PARTE DE LOS ELEMENTOS SE CODIFICAN CON EL “ZERO-ORDEN EXPONENTIAL GOLOMB CODE” SOFTWARE SENCILLO, NO SON NECESARIAS TABLAS DE VLC HAY DOS ALTERNATIVAS PARA EL RESTO DE LOS ELEMENTOS (LOS COEFICIENTES CUANTIFICADOS DE LA TRANSFORMACION “CONTEXT-ADAPTATIVE VLC” (CAVLC) SE ELIGEN TABLAS DE VLC PARA CADA ELEMENTO, DEPENDIENDO DE LOS ELEMENTOS TRANSMITIDOS PREVIAMENTE "CONTEXT BINARY ARITHMTIC CODING” (CABAC) MAS SOFISTICADO, PERO MAS EFICAZ MEJORAS SOBRE EL CAVLC DE UN DIEZ A UN 20 % EN IGUALDAD DE CONDICIONES MAS DETALLES Y REFERENCIAS BIBLIOGRAFICAS EN , Y PERFILES Y NIVELES PERFIL: CONJUNTO DE HERRAMIENTAS O ALGORITMOS DE CODIFICACION USADOS PARA GENERAR UN FLUJO BINARIO. NIVEL: RESTRICCIONES Y VALORES QUE PUEDEN TOMAR ALGUNOS PARAMETROS DEL FLUJO BINARIO. ASEGURA LA INTEROPERATIVAD DE CODIFICADORES Y DECODIFICADORES. EN LA VERSION 1 SE INCLUIAN 3 PERFILES: BASELINE, MAIN, EXTENDED EN 2005 SE AÑADIO LA FRExt (FIDELITY RANGE EXTENSIÓN), QUE INCLUIA LOS PRIMEROS PERFILES DE ALTA DEFINICION, HIGHT, HIGHT 10 Y HIGHT 4:2:2 PERFILES Y NIVELES Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 INFORMACION MAS COMPLETA Y ACTUALIZADA SOBRE PERFILES Y NIVELES: RECOMENDACIÓN H.264 (08-2021) PERFILES Y NIVELES PERFILES Y NIVELES DE FINIDOS EN LA RECOMENDACIÓN H.264 (08-2021) PERFILES NIVELES Baseline profile Level limits common to the Baseline, Constrained Baseline, Main, and Extended profiles Constrained Baseline profile Main profile Extended profile Level limits common to the High, Progressive High, Constrained High, High 10, Progressive High 10, High 4:2:2, High 4:4:4 High profile Predictive, High 10 Intra, High 4:2:2 Intra, High 4:4:4 Intra, and Progressive High profile CAVLC 4:4:4 Intra profiles Constrained High profile High 10 profile Level limits of the Baseline and Constrained Baseline profile Progressive High 10 profile High 4:2:2 profile Level limits of the Main, High, Progressive High, Constrained High 4:4:4 Predictive profile High, High 10, Progressive High 10, High 4:2:2, High 4:4:4 High 10 Intra profile Predictive, High 10 Intra, High 4:2:2 Intra, High 4:4:4 Intra, and CAVLC 4:4:4 Intra profile High 4:2:2 Intra profile High 4:4:4 Intra profile CAVLC 4:4:4 Intra profile Level limits of the Extended profile COMPARACION Soon-kak Kwon, " A. Tamhankar, K.R. Rao,Overview of H.264/MPEG-4 part 10", Elsevier, J. Vis. Commun. Image R. 17 (2006) 186–216, Available online, doi:10.1016/j.jvcir.2005.05.010 COMPARACION H.264/MPEG4 CON MPEG2 Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 COMPARACION Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006 MAS INFORMACION SOBRE COMPARACIONES : Thomas Wiegand, Heiko Schwarz, Anthony Joch, Faouzi Kossentini, Gary J. Sullivan, “Rate-Constrained Coder Control and Comparison of Video Coding Standards”, Special issue on the “H.264/AVC Video Coding Standard,” IEEE Trans. Circuits and Sys. for Video Tech., vol. 13, no. 7, July 2003. RESILENCIA A LOS ERRORES ESTANDARES PREVIOS PARTICION DE DATOS LOS DATOS IMPORTANTES SE TRANSMITEN CON UNA PRIORIDAD ALTA CODIFICACION ESCALABLE H.264/MPEG-4 AVC PARAMETER SETTING FLEXIBLE MACROBLOCK ORDERING SLICES REDUNDANTES (Todo ello definido en la transparencia siguiente) RESILENCIA A LOS ERRORES PARAMETER SETTING SE BUSCA QUE LOS DATOS LLEGUEN DE MODO SEGURO Y EN EL MOMENTO APROPIADO. TRANSMISION IN BAND MUY FIABLE, MULTIPLES COPIAS TRANSMISION OUT BAND CON UN PROTOCOLO MUY FIABLE, MUY PROTEGIDO FLEXIBLE MACROBLOCK ORDERING PERMITE AÑADIR MACROBLOQUES A SLICES EN UN ORDEN DIFERENTE AL DE EXPLORACION DISPERSA LOS MACROBLOQUES: FACILITA LA RECUPERACION DE LOS MACROBLOQUES QUE SE PIERDAN SLICES REDUNDANTES USAR UNA O MAS REPRESENTACIONES REDUNDANTES DEL MISMO MACROBLOQUE. PUEDEN USAR DIFERENTES PARAMETROS DE CODIFICACION DE MODO QUE LA REDUNDANCIA SEA CODIFICADA CON MENOS BITS CONCLUSIONES H.264/MPEG4 AVC INTRODUCE UN NUMERO SIGNIFICATIVO DE AVANCES Y MEJORAS FRENTE A ESTANDARES PREVIOS. CUBRE UN AMPLIO RANGO DE APLICACIONES GRACIAS A LA NAL. PERMITE LA DIFUSION DE SEÑALES HDTV CON MEDIOS DESTINADOS A SDTV, (DVB) MEJORA LA PREDICCION DE MOVIMIENTO. MEJORA LA CODIFICACION ENTROPICA. AHORRA UN 50 % (APROXIMADAMENTE, CONSULTAR REFERENCIAS) DE LA CAPACIDAD DEL CANAL. MEJORA LA RESILIENCIA A ERRORES BIBLIOGRAFIA Gary J. Sullivan, and Thomas Wiegand, "Video Compression—From Concepts to the H.264/AVC Standard", Proceedings of the IEEE, vol. 93, nº. 1, January 2005,Digital Object Identifier 10.1109/JPROC.2004.839617 Thomas Wiegand, Gary J. Sullivan, Gisle Bjøntegaard, and Ajay Luthra, “Overview of the H.264/AVC Video Coding Standard”, IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, no. 7, july 2003, Digital Object Identifier 10.1109/TCSVT.2003.815165 Detlev Marpe and Thomas Wiegand, Gary J. Sullivan, “The H.264/MPEG4 Advanced Video Coding Standard and its Applications”, IEEE Communications Magazine August 2006. Marcelo Sampaio, Digital Television Systems, Cambridge University Press, ISBN 978-0-521-89602-3 A. Luthra, G. J. Sullivan, and T. Wiegand, Eds., Special issue on the “H.264/AVC Video Coding Standard,” IEEE Trans. Circuits and Sys. for Video Tech., vol. 13, no. 7, July 2003 Thomas Wiegand, Heiko Schwarz, Anthony Joch, Faouzi Kossentini, Gary J. Sullivan, “Rate-Constrained Coder Control and Comparison of Video Coding Standards”, Special issue on the “H.264/AVC Video Coding Standard,” IEEE Trans. Circuits and Sys. for Video Tech., vol. 13, no. 7, July 2003. Soon-kak Kwon, " A. Tamhankar, K.R. Rao,Overview of H.264/MPEG-4 part 10", Elsevier, J. Vis. Commun. Image R. 17 (2006) 186–216, Available online, doi:10.1016/j.jvcir.2005.05.010 RECOMENDACIÓN H.264 (08-2021), versión 14  H.264/MPEG4 AVC NETWORK ABSTRACTION LAYER NETWORK ABSTRACTION LAYER POSIBILITA LA TRANMISION DE SEÑALES H.264 EN DIFERENTES SISTEMAS: SISTEMAS BASADOS EN BYTE-STREAM MPEG-2: RADIODIFUSION SISTEMAS BASADOS EN PAQUETES RTP/IP: SERVICIO INTERNET EN TIEMPO REAL, CONVERSACIONAL Y STREAMING H.32X: SERVICIOS CONVERSACIOANLES ALMACENAMIENTO EN VARIOS FORMATOS SE DEFINEN: UNIDADES NAL (NAL UNITS) CONJUNTOS DE PARAMETROS (PARAMETER SET) UNIDADES DE ACCESO (ACCESS UNITS) NAL UNITS NAL UNIT: UN PAQUETE QUE CONTIEN UN NUMERO ENTERO DE BYTES. 1 BYTE DE CABECERA QUE INDICA EL TIPO DE DATOS DE LOS DEMAS BYTES. LOS DEMAS LLEVAN PAYLOAD (DEL TIPO INDICADO EN LA CABECERA) SE EVITA QUE SE APAREZCA UNA SECUENCIA (CASUALMENTE) QUE COINCIDA CON “START CODE PREFIX” (definido en la transparencia siguiente) NAL UNITS NAL UNIT EN SISTEMAS TIPO BYTE-STREAM: A CADA UNIDAD SE LE ANTEPONEN 3 BYTES ADICIONALES EL “START CODE PREFIX” SE PUEDE AÑADIR INFORMACION ADICIONAL, CONSULTAR NAL UNIT EN SISTEMAS DE PAQUETES: SE PUEDEN USAR SIN EL “START CODE PREFIX” NAL UNITS TIPOS DE UNIDADES DE ACCESO: UNIDADES VCL Y UNIDADES NO VCL UNIDADES VCL (VCL NAT UNITS): CONTIENEN VALORES DE LAS MUESTRAS DE LAS IMAGENES UNIDADES NO VCL (NON-VCL NAT UNITS) CONTIENEN INFORMACION QUE AFECTA A MUCHAS VCL NAT UNITS INFORMACION SUPLEMENTARIA, TIMING… PARAMETER SETS INFORMACION QUE CAMBIA CON POCA FRECUENCIA Y AFECTA A UN CIERTO NUMERO DE VCL NAT UNITS SEQUENCE PARAMETER SET AFECTA A VARIAS IMÁGENES CODIFICADAS CONSECUTIVAS (SECUENCIA DE VIDEO) PICTURE PARAMETER SET AFECTA A UNA (O MAS DE UNA) IMAGENES CODIFICADAS DENTRO DE LA MISMA SECUENCIA CADA VLC NAT INDICA QUE PARAMETER SET LE AFECTA SE AHORRA CAPACIDAD DE TRANSMISION SE MEJORA LA ROBUSTED DEL SISTEMA, REPITIENDOLOS TRANSMITIENDOLOS “FUERA DE BANDA”, EN UN CANAL MAS FIABLE ACCESS UNIT ES UN CONJUNTO DE VCL NAL UNITS QUE DECODIFICADAS CONDUCEN A UNA IMAGEN COMPLETA AYUDA A LOCALIZAR EL INICIO SUPPLEMENTAL ENHACEMENT INFORMACION: TIMING… VCL NAL UNITS QUE CONTIENEN LAS MUESTRAS INFORMACION REDUNDANTE DE AREAS DE LA IMAGEN PARA CORREGIR ERRORES PUEDEN NO ESTAR PRESENTES INDICA EL FINAL DE LA SECUENCIA Thomas Wiegand, Gary J. Sullivan, Gisle Bjøntegaard, and Ajay Luthra, “Overview of the H.264/AVC Video Coding Standard”, IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, no. 7, July 2003, Digital Object Identifier 10.1109/TCSVT.2003.815165 SECUENCIA DE VIDEO CODIFICADA VER LA REFERENCIA. SERIE DE UNIDADES DE ACCESO SECUENCIALES QUE USAN EL MISMO “PARAMETER SET” DE SECUENCIA COMIENZA CON UNA IMAGEN INTRA ¿PREGUNTAS?