Autoencoders in Deep Learning

Autoencoders

• Definition: An autoencoder is a neural network that is trained to copy its input to its output
• Purpose: Dimensionality reduction, anomaly detection, generative modeling, and feature learning
• Components:
  • Encoder: Maps input to a lower-dimensional representation (bottleneck or latent representation)
  • Decoder: Maps the bottleneck representation back to the original input
• Types:
  • Undercomplete: Encoder has fewer nodes than the input
  • Overcomplete: Encoder has more nodes than the input
  • Sparse: Encoder has a large number of nodes, but only a few are active
• Loss functions:
  • Reconstruction loss (e.g. mean squared error or cross-entropy)
  • Regularization terms (e.g. L1 or L2 regularization)

Convolutional Neural Networks (CNNs)

• Definition: A type of neural network designed to process data with grid-like topology (e.g. images)
• Key components:
  • Convolutional layers: Apply filters to small regions of the input data
  • Pooling layers: Downsample the output of convolutional layers
  • Fully connected layers: Used for classification or regression
• Convolutional layer operations:
  • Convolution: Apply filters to the input data
  • Activation: Apply an activation function to the output
  • Padding: Add zeros to the input data to maintain spatial dimensions
• Advantages:
  • Robust to small transformations and distortions
  • Can learn hierarchical representations of the input data

Neural Network Architecture

• Definition: The design and organization of a neural network's layers and connections
• Types of layers:
  • Input layer: Receives the input data
  • Hidden layer: Performs complex representations of the input data
  • Output layer: Produces the final output
• Layer connections:
  • Fully connected: Every node in one layer is connected to every node in the next layer
  • Locally connected: Nodes in one layer are connected to a subset of nodes in the next layer
• Activation functions:
  • Sigmoid: Maps the input to a value between 0 and 1
  • ReLU (Rectified Linear Unit): Maps all negative values to 0 and all positive values to the same value
  • Tanh (Hyperbolic Tangent): Maps the input to a value between -1 and 1

Autoencoders

• Definición: Una autoencoder es una red neuronal que se entrena para copiar su entrada a su salida.
• Objetivo: Reducción de dimensionalidad, detección de anomalías, modelado generativo y aprendizaje de características.
• Componentes:
  • Encoder: Mapea la entrada a una representación de menor dimensión (representación latente o de cuello de botella).
  • Decoder: Mapea la representación latente de regreso a la entrada original.
• Tipos:
  • Subcompleto: El encoder tiene menos nodos que la entrada.
  • Sobrecopleto: El encoder tiene más nodos que la entrada.
  • Especial: El encoder tiene un gran número de nodos, pero solo unos pocos están activos.
• Funciones de pérdida:
  • Pérdida de reconstrucción (e.g. error cuadrático medio o entropía cruzada).
  • Términos de regularización (e.g. regularización L1 o L2).

Redes Neuronales Convolucionales (RNC)

• Definición: Un tipo de red neuronal diseñada para procesar datos con topología de rejilla (e.g. imágenes).
• Componentes clave:
  • Capas convolucionales: Aplican filtros a pequeñas regiones de los datos de entrada.
  • Capas de muestreo: Reducen la salida de las capas convolucionales.
  • Capas completamente conectadas: Se utilizan para clasificación o regresión.
• Operaciones de capas convolucionales:
  • Convolución: Aplican filtros a los datos de entrada.
  • Activación: Aplican una función de activación a la salida.
  • Relleno: Agregan ceros a los datos de entrada para mantener las dimensiones espaciales.
• Ventajas:
  • Robustez a pequeñas transformaciones y distorsiones.
  • Pueden aprender representaciones jerárquicas de los datos de entrada.

Arquitectura de la Red Neuronal

• Definición: El diseño y organización de las capas y conexiones de una red neuronal.
• Tipos de capas:
  • Capa de entrada: Recibe los datos de entrada.
  • Capa oculta: Realiza representaciones complejas de los datos de entrada.
  • Capa de salida: Produce la salida final.
• Conexiones entre capas:
  • Completamente conectadas: Cada nodo en una capa está conectado a cada nodo en la capa siguiente.
  • Conectadas localmente: Los nodos en una capa están conectados a un subconjunto de nodos en la capa siguiente.
• Funciones de activación:
  • Sigmoide: Mapea la entrada a un valor entre 0 y 1.
  • ReLU (Unidad Lineal Rectificada): Mapea todos los valores negativos a 0 y todos los valores positivos al mismo valor.
  • Tanh (Tangente Hiperbólica): Mapea la entrada a un valor entre -1 y 1.