Procesado Avanzado de Señal Audiovisual

Procesado Avanzado de Señal Audiovisual

• El tema trata sobre técnicas de procesado avanzado de señal e inteligencia artificial.
• El ponente es Alberto Belmonte Hernández.
• La presentación está financiada por la Unión Europea y el Gobierno de España.
• El contenido aborda la introducción a la inteligencia artificial y el aprendizaje automático.
• Se explican la extracción de características en imagen, audio y texto.

Temas clave

• La inteligencia artificial y el aprendizaje automático se utilizan para aprender patrones complejos de los datos y predecir comportamientos o estimar nueva información.
• Se utilizan algoritmos de Machine Learning para procesar datos y encontrar patrones.
• Las redes neuronales profundas, convolucionales y recurrentes son tipos de redes neuronales utilizadas en Deep Learning.
• Los datos se utilizan en varias aplicaciones como: Amazon, Netflix, Facebook, Google, Tesla
• Ejemplos de uso: detección facial, procesamiento de imágenes médicas, juegos, realidad virtual.

¿Cómo aprender de los datos (Datasets)?

• Hay una gran cantidad de datos disponibles de varias fuentes.
• Estos datos contienen información relacionada con muchos problemas.
• Se presentan en forma de conjuntos de datos.
• Los datos son una recopilación de información de diferentes fuentes, incluyendo números, multimedia (imágenes, audio, video, texto).
• Se pueden crear conjuntos de datos personalizados.
• Los conjuntos de datos se pueden descargar de instituciones académicas, grandes empresas (Microsoft, Google, Facebook) o páginas web.
• Se realizan ejemplos del conjunto de datos del Titanic y precios de viviendas.

Limpieza de datos y análisis exploratorio de datos (EDA)

• El EDA es un enfoque para resumir las características principales de un conjunto de datos, a menudo con métodos visuales.
• El EDA se usa antes de aplicar modelos o pruebas de hipótesis.
• Los datos se pueden representar de muchas maneras, mostrando relaciones y patrones.
• Se detectan errores o datos incompletos y se rellenan.
• Esto ayuda a determinar si los datos son convenientes para su uso en algoritmos de aprendizaje automático.

EDA en el dataset del Titanic

• Los datos se dividen en archivos CSV para entrenamiento y prueba.
• El objetivo es predecir la probabilidad de supervivencia de un pasajero en función de diferentes variables.

EDA en el dataset de los precios de las viviendas

• Los datos se utilizan para predecir el precio de una casa con base en características de la misma.

Aprendizaje automático ¿Qué es?

• Es un conjunto de algoritmos que se emplean para el análisis de datos.
• Construye un modelo a partir de los datos en estudio.
• Permite que los computadores aprendan sin supervisión manual directa.

Estructura de un proyecto de aprendizaje automático

• Adquisición de datos: Recopilación de conjuntos de datos existentes o creación de conjuntos de datos nuevos.
• Limpieza de datos: Inspección y corrección o eliminación de datos incorrectos o incompletos.
• Entrenamiento y pruebas de modelos: Aplicar el aprendizaje a través del conjunto de datos y probar precisones.
• Despliegue de modelos: Uso del modelo para predecir nuevos datos o resultados.

Aprendizaje Automático- Tipos de aprendizaje

• Aprendizaje supervisado: Se dispone de la salida o resultados esperados (etiquetados/categorías) para los datos de entrada.

• Aprendizaje no supervisado: No se dispone de la salida o resultados esperados para los datos de entrada. El objetivo es identificar similitudes en los datos.

• Aprendizaje por refuerzo: El modelo va aprendiendo de las acciones que lleva a cabo según las recompensas que recibe del entorno.

Tipos de problemas

• Regresión: Predicción de valores continuos (por ejemplo, el precio de una casa).
• Clasificación: Predicción de categorías (por ejemplo, la clase de un objeto).
• Agrupamiento (Clustering): Agrupar datos que tienen similitudes entre sí creando agrupaciones (clusters).
• Reducción de dimensionalidad: Extraer las características importantes de un conjunto de datos reduciendo su número de dimensiones.

Extracción de características

• Permite representar datos complejos de maneras comprensibles para los algoritmos.
• Importante para varios tipos de datos.
• Tabulares: directamente utilizables.
• No tabulares: requieren transformación.
• imágenes, audio, texto necesitan un procesamiento previo.

Evaluación del aprendizaje supervisado

• Accuracy/Precisión: Número de predicciones correctas sobre el total de predicciones

• Loss/Pérdida Logarítmica: Penalizar las predicciones incorrectos.

• Matriz de confusión: Mide el rendimiento de un clasificador mostrando las predicciones.

• AUC/ROC(Area Under The Curve): Representa la probabilidad de que un clasificador clasifique un ejemplo positivo por encima de uno negativo.

Optimizadores en Deep Learning

• Descenso Gradiente: Un algoritmo para encontrar mínimos locales de funciones de costes en el entrenamiento. Es una técnica muy utilizada en la optimización de modelos de aprendizaje automático, pero su principal inconveniente es el tiempo de cálculo de los gradientes.

• SGD (Stochastic Gradient Descent): Una versión del descenso gradiente que actualiza los parámetros del modelo caso a caso.

• Mini-Batch Gradient Descent: Una combinación del descenso gradiente y SGD, actualiza los parámetros a gran escala pero con un lote de ejemplos.

• Momentum: Una mejora de SGD que añade un término de inercia a la actualización de los pesos, lo cual facilita su estabilización en la búsqueda del mínimo.

• AdaGrad: Un optimizador que actualiza de forma adaptativa el paso del gradiente según la variable (cada peso tiene su propia tasa de aprendizaje).

• RMSprop: Una mejora de AdaGrad que mantiene una media exponencial de los gradientes cuadrados y calcula una tasa de aprendizaje adaptativa para cada peso.

• Adam: Combina los beneficios de momentum y RMSprop, es conocido por su eficiencia y rendimiento.

Aprendizaje profundo /Redes neuronales profondas

• Los modelos Deep Learning están diseñados para procesar grandes cantidades de datos utilizando redes neuronales con múltiples capas ocultas.

• Su estructura consiste en una serie de capas interconectadas con nodos (neuronas) y pesos.

• El entrenamiento de estos modelos involucra pasar datos a través de las diferentes capas para extraer características significativas.

• La idea es que a través de muchas capas puedan extraer información más compleja de los datos de entrada.

Redes neuronales Recurrentes (RNN)

• Permiten dar contexto a la entrada.

• Manejan datos secuenciales y retienen información de los pasos anteriores para la predicción.

• La información del resultado se introduce de vuelta para que el modelo entienda que las entradas de una secuencia están relacionadas entre sí.

• Sufren de gradientes de fuga/explosivo como los gradientes son demasiado grandes.

• LSTMs/GRUs: mejoran el problema de la memoria a corto plazo.

• La dificultad en los RNN es entrenarlos, pero estos son esenciales para el razonamiento secuencial.

Arquitecturas de redes neuronales

• Feed-forward/Perceptrón multicapa: Datos de input convergen en la capa de salida, se utiliza para predecir valores continuos o categorías.

• Redes residuales (ResNet): Se desarrollan para solucionar el problema del gradiente de fuga de las redes profundas.

• Redes convolucionales (CNN): Arquitectura ideal para imágenes, usa un mecanismo de convolución, que detecta y extrae características en las imágenes.

• Redes convolucionales de encogimiento (Pooling): Estas capas reducen la dimensionalidad de las imágenes.

• Redes neuronales recurrentes (RNN): Se usan para datos secuenciales.

• Autocodificadores (AEs): Se usan para reducir la dimensionalidad.

• Redes neuronales generativas adversarias (GANs): Para generar datos nuevos a partir de un conjunto de datos de entrenamiento.

• Transformers: Una estructura para el procesado de secuencias como texto (puede procesar texto y audio).

Resolver tareas de computer visión extremo a extremo con Deep learning

• Faster R-CNN: Método para la detección de objetos en imágenes.

• Mask R-CNN: Método para detección, segmentación y clasificación de objetos en imágenes.

Resolver tareas de audio extremo a extremo con Deep Learning

• Wav2Vec: Modelo para la extracción de características de audio, emplea entrenamiento auto-supervisado.

• Tacotron2: Modelo de texto a voz, utiliza la conversión de texto en espectrogramas para la síntesis de voz.

Otros detalles

• La evaluación del modelo es importante en cualquier tarea de Deep Learning con el fin de comprobar si el modelo está funcionando correctamente.
• Se utilizan métricas tales como precisión, recall, f1-score, AUC y loss/pérdida para comprobar el buen rendimiento del modelo