Inteligencia Artificial Generativa en Audio

Inteligencia Artificial Generativa en Audio

• El tema se centra en la inteligencia, la IA y la generación automática en el contexto del audio.

José Luis Blanco Murillo

• Ingeniero de Telecomunicación (ETSIT-UPM).
• Máster en Tecnologías y Servicios de Comunicaciones (SSR-UPM).
• Doctor por la UPM.
• Tiene experiencia en proyectos de Ingeniería desde 2007.
• Es miembro del Grupo de Aplicaciones del Procesado de Señal desde 2008.
• Profesor UPM desde 2015.

Recapitulación del Módulo (Tema 1)

• Sirve como introducción al módulo.

IA aplicada a producción y anotación (Tema 2)

• S2T: Speech-to-Text
• T2S: Text-to-Speech
• Subtitulado

Reflexión Personal

• El usuario es invitado a compartir sus impresiones y reflexiones personales sobre el tema.

Cuestionario en Moodle

• Breve cuestionario en Moodle

Elementos a considerar al analizar

• Entradilla.
• Música de fondo.
• Cambios de tema.
• Efectos de sonido.
• Ruido de los micrófonos.
• Ruido debido al aire.
• Ruido ambiente.
• Variaciones en las voces.
• Cambio de distancia al micrófono.
• Sonido ambiente.
• Diferencias en la fuente sonora.
• Otros locutores.

Generacion de Podcast a Partir de Texto

• El usuario puede generar un podcast a partir de un texto
• BOE. Texto consolidado de 2025.
• https://www.boe.es/biblioteca_juridica/codigos/codigo.php?id=158&modo=2&nota=1&tab=2
• Texto completo disponible en Moodle.
• Selecciona las fuentes del texto
• Visita notebookLM (requiere registro en google): https://notebooklm.google.com/
• Carga las fuentes
• Selecciona la opción de resumen de audio en el chat.
• Espera unos minutos hasta que se genere el podcast.

Experiencia del usuario (podcast)

• Emoción: ¿Qué está pasando?, ¿Se entiende?, ¿Dos locutores?, ¿De qué están hablando?, ¿Me interesa?, ¿A qué viene esto?
• Calidad: ¿Se entiende?, ¿Tiene sentido lingüístico?, ¿Claridad vocal?, ¿Reconocible?, ¿Se aprecian defectos?
• Utilidad: ¿Cuál es el origen?, ¿Cuál es su función?, ¿Cuál es su relevancia?

Elementos generativos del mensaje

• Guion: estructura del mensaje, transformación, selección de conceptos, información adicional y discurso.
• Contenido: conexión de conceptos y palabras.
• Voces: fonos, duración (pausas), entonación (ritmo), energía y pitch.

Elementos Adicionales Generativos

• Paisaje sonoro: totalidad de sonidos
  • Tonalidad, sonidos de fondo, señales y marcas sonoras.
• Banda sonora: acompañamiento musical
  • Música original y preexistente, efectos de sonido, diálogos.
• Interacciones entre elementos: música-guion, música-efectos, efectos-guion.
• Objetivos: crear atmósfera, guiar la emoción, proporcionar continuidad e identificar personajes y espacios.
• Motivación: realismo, complemento audiovisual, teatralización e inmersión.
• Interacción multimodal: integración de lo visual y lo auditivo.

Niveles de Contenido

• Discurso: une las oraciones para la coherencia.
• Pragmática: transmite el significado más allá de lo literal.
• Semántica: los significados de palabras y frases.
• Sintaxis: la estructura de frases y oraciones.
• Morfología: estructura de las palabras.
• Fonología: patrones de sonido.
• Fonética: propiedades físicas del habla.
• La generación se produce en todos los niveles.

Estructura del Discurso

• Exposición: Presenta personajes, escenario, situación inicial.
• Acción ascendente: Eventos que complican tensión inicial.
• Clímax: Punto álgido
• Acción descendente: Consecuencias del clímax.
• Desenlace: Resolución de la historia.
• El podcast tiene una estructura fija, pero con generación de variantes.

Razones para la Generación

• Se generan datos con misma distribución.
• Los esquemas generativos facilitan la creación y aceleran el contenido textual, visual y auditivo.
• Facilita la innovación y el diseño
• Apoyo a la investigación científica
• Mejora en los procesos de anonimización
• Hay una mayor personalización
• Hay un mayor apoyo a la documentación

Modelos Generativos

• Artificialmente diseñado para crear contenido nuevo a partir de datos existentes.
• Objetivo: crear nuevos datos (textos, imágenes, música, código).
• Metodología: aprendizaje de patrones y estructuras subyacentes.
• Uso: arte, diseño, investigación.
• Tipos: GMMs, Autocodificadores Variacionales, Redes Generativas Adversarias.

Modelos Generativos vs No Generativos

• Los modelos generativos se hacen evidentes cuando el modelo incorpora esquemas de codificación y decodificación.
• Los modelos No Generativos esperan que la entrada sea igual a la salida
• Los modelos generativos aseguran que en la representación intermedia las variaciones intergeneran salidas plausibles.

El Concepto Detrás del Generador

• Se comporta como transformador de datos
• Dada la representación latente de un dato, hay un equivalente acústico
• Si se genera una variación realista, se genera una variante latente y de ahí se decodifica para un nuevo dato sintético
• Si recoge características de un dato real, se comporta como generativo

Propósitos de la Generación

• Contextos de usos: Producción, locutores y sonidos
• Desde escribir hasta el doblaje automático.
• Sonidos imposibles, efectos de sonido, paisajes sonoros.
• Se evita locutores humanos o se controlan sus voces.

Cómo Hacerlo Generativo

• Los modelos se entrena a partir de datos reales, para promover las capacidades generativas
• Los modelos deben adaptarse a características zero-shot
• El Zero-shot hace que los modelos dispongan de datos no vistos
• Es importante que los modelos dispongan de características zero-shot, que sean capaces de operar con datos nunca vistos.

En el Generativo, también se debe

• Analizar la distribución
• Formular una transformación
• Aplicar una corrección