Teoría de la Información: Conceptos Clave

Teoría de la Información

• Es una rama de la teoría de la probabilidad y la ciencia de la computación.
• Estudia la información y sus propiedades.
• La información mide la incertidumbre o sorpresa de un evento.

Historia

• Desarrollada en 1948 por Claude Shannon.
• Shannon propuso un modelo matemático para cuantificar la información transmitida a través de un canal.

Conceptos Clave

Entropía

• Mide la incertidumbre de una variable aleatoria.
• Es el número medio de bits para representar un valor de la variable aleatoria.
• Se mide en bits o Shannon.
• Fórmula: $H(X) = -\sum_{x \in X} p(x) \log_2 p(x)$

Información Mutua

• Mide la información que dos variables aleatorias comparten.
• Reduce la incertidumbre de una variable al conocer la otra.
• Fórmula: $I(X;Y) = \sum_{x \in X} \sum_{y \in Y} p(x,y) \log_2 \frac{p(x,y)}{p(x)p(y)}$

Capacidad de un Canal

• Es la máxima velocidad a la que se puede transmitir información confiablemente.
• Es la máxima información mutua entre la entrada y la salida del canal.
• Fórmula: $C = \max_{p(x)} I(X;Y)$

Codificación de Fuente

• Comprime datos para reducir su tamaño.
• Representa los datos con el menor número de bits posible sin perder información.

Codificación de Canal

• Añade redundancia a los datos para protegerlos de errores durante la transmisión.
• Aumenta la fiabilidad de la comunicación.

Aplicaciones

• Comunicaciones: Diseño de sistemas de comunicación eficientes y confiables.
• Compresión de datos: Desarrollo de algoritmos para comprimir datos de forma eficiente.
• Criptografía: Diseño de sistemas para proteger la información de accesos no autorizados.
• Aprendizaje automático: Desarrollo de algoritmos para extraer información útil de los datos.