Los tres teoremas de Shannon

Los tres teoremas de Shannon son las teorías básicas de la teoría de la información. Los tres teoremas principales de Shannon son teoremas de existencia. Aunque no proporcionan métodos de implementación de codificación específicos, señalan la dirección para la investigación de la información comunicativa. El primer teorema de Shannon es el teorema de codificación de fuente sin distorsión de longitud variable. El segundo teorema de Shannon es el teorema de codificación de canales ruidosos. El tercer teorema de Shannon es un teorema de codificación de la fuente de distorsión según el criterio de preservación de la distorsión. Los detalles son los siguientes:

1: Primer teorema de Shannon (teorema de codificación de fuente sin distorsión de longitud variable)

Supongamos [shāng]H(S) de la fuente S, sin ruido La capacidad del canal discreto es C, por lo que la salida de la fuente se puede codificar de tal manera que la velocidad de transmisión promedio en el canal sea (C/H(S)-a) símbolos de fuente por segundo, donde a puede. ser cualquiera Para números positivos pequeños, es imposible hacer que la velocidad de transmisión promedio sea mayor que (C/H(S)).

Dos: segundo teorema de Shannon (teorema de codificación de canales ruidosos)

Supongamos que un canal tiene r símbolos de entrada, s símbolos de salida y la capacidad del canal es C. Cuando la información del canal Cuando el la velocidad de transmisión Rlt;C y la longitud del código N son lo suficientemente largas, siempre puede encontrar M(Mlt;=2°(N(C-a))), a en el conjunto de entrada (que contiene rN secuencias de símbolos de código de longitud N), a es un número positivo arbitrariamente pequeño) palabras de código, que representan respectivamente M mensajes igualmente probables, formando un código y las reglas de decodificación correspondientes, de modo que la probabilidad de decodificación de error promedio mínima Pmin en el extremo de salida del canal alcanza un valor arbitrariamente pequeño.

Fórmula: C=B*log2(1 S/N) Nota: B es el ancho de banda del canal; S/N es la relación señal-ruido, generalmente expresada en decibeles (dB).

Tres: tercer teorema de Shannon (teorema de codificación de fuente distorsionada según el criterio de preservación de la distorsión) Sea R(D) la función de distorsión de la velocidad de información de una fuente discreta sin memoria y seleccione una función de distorsión finita, para cualquier grado de distorsión promedio permitido Dgt = 0, y cualquier agt pequeño 0, y cualquier longitud de código N suficientemente larga, debe haber un código fuente W cuyo número de palabras de código sea Mlt = EXP?(N[R(D) a; ], y el grado de distorsión promedio del código codificado D'(W)lt;=D a.