Examen Final de APRNS - Aprendizaje No Supervisado

Examen Final de APRNS - Notas de Estudio

• Instrucciones: Entregar únicamente las hojas de examen. Marcar la respuesta correcta con un círculo y tachar las respuestas incorrectas con una cruz. Las notas se publicarán el 22/01/2024.

• Formato del Examen: Preguntas sobre aprendizaje no supervisado. Cada pregunta vale 1 punto, dos respuestas correctas por pregunta. 0.5 puntos por respuesta correcta, 0.5 puntos de penalización por respuesta incorrecta.

• Pregunta 1: Modelos Autorregresivos.

  • Afirmaciones Correctas (múltiple):
    • Una limitación de ImageGPT es su incapacidad de generar imágenes de alta resolución debido al coste cuadrático del mecanismo de atención.
    • La atención con enmascaramiento en redes autorregresivas ofrece un campo receptivo ilimitado en comparación con las convoluciones.
    • Incorrecta: El muestreo en MADE es eficiente.
    • Incorrecta: En las redes recurrentes las variables comparten los parámetros de la red.

• Pregunta 2: Modelos Autorregresivos.

  • Afirmaciones Correctas (múltiple):
    • Las convoluciones causales en modelos autorregresivos son más eficientes en tiempo y memoria que las redes MLP con MADE.
    • La independencia de las variables permite usar redes autorregresivas para modelar la distribución conjunta.
    • Incorrecta: Gated PixelCNN mejora a PixelCNN por combinar distribuciones logísticas.
    • Incorrecta: Cualquier red puede representar la distribución de probabilidad conjunta en modelos autorregresivos.

• Pregunta 3: Modelos Autorregresivos.

  • Afirmaciones Correctas (múltiple):
    • En MADE, la primera salida de la capa de salida es independiente de las variables de entrada.
    • PixelCNN++ mejora sobre otros modelos autorregresivos utilizando una combinación de distribuciones logísticas para representar la salida.

• Pregunta 4: Modelos de Flujos.

  • Afirmaciones Correctas (múltiple):
    • Los flujos con transformaciones afines invertibles no garantizan un cálculo eficiente del determinante de la matriz.
    • Los flujos autorregresivos transforman las variables de una en una.
    • Incorrecta: Un flujo normalizante transforma datos a una distribución uniforme.
    • Incorrecta: Ser diferenciable garantiza un mapeo uno a uno en los flujos.

• Pregunta 5: Modelos de Flujos.

  • Afirmaciones Correctas (múltiple):
    • Los flujos elementales transforman variables de forma independiente, asegurando una matriz jacobiana diagonal.
    • Los flujos permiten calcular el logaritmo de la probabilidad de una distribución mediante un cambio de variables.

• Pregunta 6: Modelos de Flujos.

  • Afirmaciones Correctas (múltiple):
    • RealNVP es un flujo autoregresivo que realiza transformaciones afines de una variable a partir de otras.
  • El uso de transformaciones afines en RealNVP genera un jacobiano triangular, permitiendo un cálculo eficiente del determinante.

• Pregunta 7: Variables Latentes (VAEs).

  • Afirmaciones Correctas (múltiple):
    • La generación de muestras en VAEs requiere una distribución a priori sobre las variables latentes, normalmente una distribución normal.
    • Condicionar un VAE usando una variable categórica permite generar muestras de clases específicas.

• Pregunta 8: Variables Latentes (VAEs).

  • Afirmaciones Correctas (múltiple):
    • Los VAEs para desenredo modifican la estructura de pérdida para mayor independencia entre variables latentes.
  • Los modelos de variables latentes tiene la ventaja de trabajar con espacios de menor dimensión, algo que facilita el entrenamiento.

• Pregunta 9: Variables Latentes (VAEs).

  • Afirmaciones Correctas (múltiple):
    • En los VAEs, el decodificador permite generar nuevas muestras.
    • Escoger una distribución gaussiana para las variables latentes en un VAE mejora el ajuste a la distribución real.

• Pregunta 10: Modelos Implícitos (GANs).

  • Afirmaciones Correctas (múltiple):
    • Invirtiendo la función de pérdida que optimiza al generador en GANs resuelve el problema de desaparición de gradiente.
    • La Wasserstein GAN (WGAN) reformula la pérdida para minimizar la distancia entre la distribución de los datos reales y los generados.

• Pregunta 11: Modelos Implícitos (GANs).

  • Afirmaciones Correctas (múltiple):
    • El colapso de modas es un problema en GANs.
    • La WGAN-GP restringe la red discriminadora a ser 1-Lipschitz.

• Pregunta 12: Modelos Implícitos (GANs).

  • Afirmaciones Correctas (múltiple):
    • El discriminador, en GANs, se encarga de determinar si una muestra es real o generada.
    • GANs son modelos implícitos, que no representan explícitamente parámetros de las distribuciones de probabilidad.

• Pregunta 13: Modelos de Difusión.

  • Afirmaciones Correctas (múltiple):
    • El proceso de entrenamiento DDPM optimiza cada término independientemente.
    • En los modelos de difusión, la información se mezcla al agregar ruido de forma decreciente.

• Pregunta 14: Modelos de Difusión.

  • Afirmaciones Correctas (múltiple):
    • DDIM es una alternativa no markoviana a DDPM que acelera el proceso de difusión.
  • Un problema de DDPM es la necesidad de muchos pasos para obtener resultados.

• Pregunta 15: Métodos Autosupervisados.

  • Afirmaciones Correctas (múltiple):
    • MAE aprende una representacion por reconstruir ejemplos parciales.
    • DINO. Aprendizaje autosupervisado, no contrastivo resuelve un problema de clasificación.

• Pregunta 16: Métodos Autosupervisados.

  • Afirmaciones Correctas (múltiple):
    • MoCo es un método autosupervisado que usa la predicción.
    • BYOL aprende una representación mediante una función de regresión.

Prepárate para el Examen Final de APRNS con estas notas de estudio. Este examen cubre conceptos clave sobre modelos autorregresivos y aprendizaje no supervisado. Asegúrate de revisar las afirmaciones correctas e incorrectas para maximizar tus puntuaciones.