Estandarización de Datos y Creación de Variables Dummy en Python

Reducción de Dimensionalidad

• La técnica utilizada para reducir la dimensionalidad es el Análisis de Componentes Principales (PCA).
• Al aplicar np.linalg.eig(covarianza), se obtienen los autovalores y autovectores de la matriz de covarianza, lo que permite identificar las direcciones (componentes principales) que capturan la mayor varianza en los datos.

Problemas de Alta Dimensionalidad

• Con 71 dimensiones, el análisis puede sufrir del "curse of dimensionality", lo que puede dificultar la visualización y el procesamiento efectivo de los datos.
• Esto puede llevar a sobreajuste y requerir más muestras para obtener resultados significativos.

Matriz de Proyección

• La matriz de proyección obtenida en el código se utiliza para transformar los datos originales a un nuevo espacio de menor dimensión, donde se preserva la mayor parte de la información.

Estandarización

• Se utilizó StandardScaler de la biblioteca sklearn.preprocessing para estandarizar las columnas, lo que permite que tengan media cero y varianza uno.

Parámetro n_components en PCA

• El parámetro n_components en el método PCA indica el número de componentes principales que se desea conservar tras la reducción de dimensionalidad.

Objetivo de la Reducción de Dimensionalidad

• El objetivo principal es simplificar los datos para facilitar su análisis y mejorar la capacidad de los modelos de machine learning, al mismo tiempo que se preserva la información relevante.

Método transform() de PCA

• El método transform() de PCA devuelve los datos en el nuevo espacio dimensional reducido, utilizando los componentes seleccionados.

Función train_test_split()

• La función train_test_split() de sklearn.model_selection se utiliza para dividir un conjunto de datos en subconjuntos de entrenamiento y prueba, ayudando a evaluar la capacidad de generalización del modelo.

Análisis Discriminante Lineal (LDA)

• El LDA se emplea en Machine Learning para encontrar una proyección que maximice la separabilidad entre diferentes clases en el espacio de características.

Propósito de train_test_split()

• Partir los datos con train_test_split() antes de aplicar un modelo de aprendizaje automático asegura que el modelo se evalúe con datos que no ha visto, evitando el sobreajuste.

Registros Fronterizos

• Un registro se define como fronterizo si se encuentra en la frontera que separa diferentes grupos o clases en el espacio de características analizado.

Algoritmos No Utilizados

• El texto menciona que algunos algoritmos no se utilizan para predecir comportamientos o clasificar nuevos registros, aunque no se especifican cuáles.

Densidad de un Registro

• La densidad de un registro X representa la cantidad de puntos de datos que hay en su vecindad, lo cual es relevante para la identificación de agrupaciones.

Algoritmo DBSCAN

• DBSCAN es un algoritmo de clustering que identifica grupos de puntos densos y puede clasificar como ruido a los puntos que no pertenecen a ningún grupo.

Uso de KMeans y KNN

• Algoritmos como KMeans y KNN se utilizan comúnmente para clasificar y agrupar datos, identificando patrones y distribuciones en el conjunto de datos.

Vecindad en DBSCAN

• Si los puntos de la vecindad en el algoritmo DBSCAN están lejos de cualquier grupo, se clasifican como ruido, lo que significa que no pertenecen a ninguna agrupación significativa.