Capacidad del Canal: Teorema de Codificación

Capacidad del Canal

• La capacidad del canal de un canal discreto sin memoria (DMC) se define como la información mutua máxima entre la entrada y la salida del canal.
• Esta información se maximiza sobre todas las distribuciones de entrada posibles $p(x)$: $C = \max_{p(x)} I(X;Y)$.
• $C$ es un límite fundamental en la velocidad a la que la información puede ser transmitida confiablemente sobre un canal de comunicaciones.
• Depende sólo de las probabilidades de transición del canal y no de la fuente de información.
• Se mide en bits por uso del canal.

Propiedades de la Capacidad del Canal

• No negatividad: $C \geq 0$, ya que la información mutua siempre es no negativa.
• Límite superior: $C \leq \min(\log |X|, \log |Y|)$, donde $|X|$ y $|Y|$ son los tamaños de los alfabetos de entrada y salida, respectivamente.
• Simetría: La capacidad del canal de un canal simétrico se logra mediante una distribución de entrada uniforme.

Ejemplos de Cálculo de la Capacidad del Canal

1. Canal Binario Sin Ruido

• Matriz del canal: $\begin{bmatrix} 1 & 0\ 0 & 1 \end{bmatrix}$
• Capacidad: $C = 1$ bit

2. Canal Ruidoso con Salidas No Superpuestas

• Matriz del canal: $\begin{bmatrix} 1 & 0 & 0\ 0 & 1 & 0\ 0 & 0 & 1 \end{bmatrix}$
• Capacidad: $C = \log |X|$

3. Canal de Máquina de Escribir Ruidosa

• Matriz del canal: $\begin{bmatrix} 1/2 & 1/2 & 0 &... & 0\ 0 & 1/2 & 1/2 &... & 0\... &... &... &... &...\ 1/2 & 0 & 0 &... & 1/2 \end{bmatrix}$
• Capacidad: $C = \log |X| - H(fila\ de\ P)$

4. Canal Binario Simétrico (BSC)

• Probabilidades de transición:
  • $P(Y=0|X=0) = 1-p$
  • $P(Y=1|X=0) = p$
  • $P(Y=0|X=1) = p$
  • $P(Y=1|X=1) = 1-p$
• Capacidad: $C = 1 - H(p)$, donde $H(p)$ es la función de entropía binaria.

5. Canal Binario de Borrado (BEC)

• Probabilidades de transición:
  • $P(Y=0|X=0) = 1-\alpha$
  • $P(Y=e|X=0) = \alpha$
  • $P(Y=1|X=1) = 1-\alpha$
  • $P(Y=e|X=1) = \alpha$
• Capacidad: $C = 1 - \alpha$

Alcanzar la Capacidad del Canal

• El teorema de codificación de canal de Shannon establece que es posible lograr una comunicación confiable a cualquier velocidad por debajo de la capacidad del canal $C$.
• Esto se hace típicamente utilizando códigos de corrección de errores para codificar la información antes de la transmisión y para decodificarla en el receptor.