Evaluación y Selección de Modelos

• La lección 18 trata sobre la evaluación y selección de modelos, y el aprendizaje no supervisado.

Evaluación y Selección de Modelos

• Se asume que hay datos representados como $D = {(x_i, y_i)}_{i=1}^N$.

Tasa de Error

• La tasa de error de un modelo $f$ en $D$ se calcula como $\frac{1}{N} \sum_{i=1}^{N} \mathbb{I}(f(x_i) \neq y_i)$.
• Donde $\mathbb{I}(f(x_i) \neq y_i)$ es la función indicadora que devuelve 1 si $f(x_i) \neq y_i$ y 0 si $f(x_i) = y_i$.

Exactitud (Accuracy)

• La exactitud se define como $1 - \text{tasa de error}$.

Evaluación

• Usar los datos de entrenamiento para evaluar el modelo puede dar una estimación demasiado optimista del rendimiento en datos no vistos.
• Para solucionar esto, se pueden usar los siguientes métodos:
  • Holdout: dividir aleatoriamente los datos en un conjunto de entrenamiento y un conjunto de prueba.
  • Validación cruzada: dividir aleatoriamente los datos en K subconjuntos (folds), entrenar en K-1 folds y probar en el fold restante, repetir K veces y promediar los resultados.
  • Validación cruzada leave-one-out: un caso especial de validación cruzada donde K = N.

Selección de Modelos

• Usar el conjunto de prueba para ajustar los parámetros y evaluar el modelo puede llevar a una estimación demasiado optimista del rendimiento en datos no vistos.
• Se recomienda dividir los datos en un conjunto de entrenamiento, un conjunto de validación y un conjunto de prueba.
  • Usa el conjunto de entrenamiento para entrenar el modelo.
  • Usa el conjunto de validación para ajustar los parámetros.
  • Usa el conjunto de prueba para evaluar el modelo.

Aprendizaje No Supervisado

Clustering (Agrupamiento)

• El objetivo es agrupar puntos de datos en clusters donde los puntos en el mismo cluster sean similares entre sí y disímiles a los puntos en otros clusters.
• Ejemplos de aplicaciones de clustering incluyen:
  • Segmentación de clientes.
  • Agrupamiento de documentos.
  • Segmentación de imágenes.

Clustering K-means

• El algoritmo K-means funciona de la siguiente manera:
  • Inicializa aleatoriamente K centros de cluster $\mu_1, \dots, \mu_K$.
  • Repite hasta la convergencia:
    • Asigna cada punto de datos al centro de cluster más cercano: $C_i = {x : ||x - \mu_i||^2 \leq ||x - \mu_j||^2 \text{ para todo } j \neq i }$.
    • Actualiza los centros de cluster: $\mu_i = \frac{1}{|C_i|} \sum_{x \in C_i} x$.
• La función de pérdida es $\sum_{i=1}^{K} \sum_{x \in C_i} ||x - \mu_i||^2$.
  • Es la suma de las distancias al cuadrado entre cada punto de datos y su centro de cluster.