Autoencoders in Deep Learning

Study Notes

Definition: An autoencoder is a neural network that is trained to copy its input to its output
Purpose: Dimensionality reduction, anomaly detection, generative modeling, and feature learning
Components:
- Encoder: Maps input to a lower-dimensional representation (bottleneck or latent representation)
- Decoder: Maps the bottleneck representation back to the original input
Types:
- Undercomplete: Encoder has fewer nodes than the input
- Overcomplete: Encoder has more nodes than the input
- Sparse: Encoder has a large number of nodes, but only a few are active
Loss functions:
- Reconstruction loss (e.g. mean squared error or cross-entropy)
- Regularization terms (e.g. L1 or L2 regularization)

Definition: A type of neural network designed to process data with grid-like topology (e.g. images)
Key components:
- Convolutional layers: Apply filters to small regions of the input data
- Pooling layers: Downsample the output of convolutional layers
- Fully connected layers: Used for classification or regression
Convolutional layer operations:
- Convolution: Apply filters to the input data
- Activation: Apply an activation function to the output
- Padding: Add zeros to the input data to maintain spatial dimensions
Advantages:
- Robust to small transformations and distortions
- Can learn hierarchical representations of the input data

Definition: The design and organization of a neural network's layers and connections
Types of layers:
- Input layer: Receives the input data
- Hidden layer: Performs complex representations of the input data
- Output layer: Produces the final output
Layer connections:
- Fully connected: Every node in one layer is connected to every node in the next layer
- Locally connected: Nodes in one layer are connected to a subset of nodes in the next layer
Activation functions:
- Sigmoid: Maps the input to a value between 0 and 1
- ReLU (Rectified Linear Unit): Maps all negative values to 0 and all positive values to the same value
- Tanh (Hyperbolic Tangent): Maps the input to a value between -1 and 1

Definición: Una autoencoder es una red neuronal que se entrena para copiar su entrada a su salida.
Objetivo: Reducción de dimensionalidad, detección de anomalías, modelado generativo y aprendizaje de características.
Componentes:
- Encoder: Mapea la entrada a una representación de menor dimensión (representación latente o de cuello de botella).
- Decoder: Mapea la representación latente de regreso a la entrada original.
Tipos:
- Subcompleto: El encoder tiene menos nodos que la entrada.
- Sobrecopleto: El encoder tiene más nodos que la entrada.
- Especial: El encoder tiene un gran número de nodos, pero solo unos pocos están activos.
Funciones de pérdida:
- Pérdida de reconstrucción (e.g. error cuadrático medio o entropía cruzada).
- Términos de regularización (e.g. regularización L1 o L2).

Definición: Un tipo de red neuronal diseñada para procesar datos con topología de rejilla (e.g. imágenes).
Componentes clave:
- Capas convolucionales: Aplican filtros a pequeñas regiones de los datos de entrada.
- Capas de muestreo: Reducen la salida de las capas convolucionales.
- Capas completamente conectadas: Se utilizan para clasificación o regresión.
Operaciones de capas convolucionales:
- Convolución: Aplican filtros a los datos de entrada.
- Activación: Aplican una función de activación a la salida.
- Relleno: Agregan ceros a los datos de entrada para mantener las dimensiones espaciales.
Ventajas:
- Robustez a pequeñas transformaciones y distorsiones.
- Pueden aprender representaciones jerárquicas de los datos de entrada.

Definición: El diseño y organización de las capas y conexiones de una red neuronal.
Tipos de capas:
- Capa de entrada: Recibe los datos de entrada.
- Capa oculta: Realiza representaciones complejas de los datos de entrada.
- Capa de salida: Produce la salida final.
Conexiones entre capas:
- Completamente conectadas: Cada nodo en una capa está conectado a cada nodo en la capa siguiente.
- Conectadas localmente: Los nodos en una capa están conectados a un subconjunto de nodos en la capa siguiente.
Funciones de activación:
- Sigmoide: Mapea la entrada a un valor entre 0 y 1.
- ReLU (Unidad Lineal Rectificada): Mapea todos los valores negativos a 0 y todos los valores positivos al mismo valor.
- Tanh (Tangente Hiperbólica): Mapea la entrada a un valor entre -1 y 1.