Teorema de Shannon

Shannon estudia el caso general de un sistema de comunicacin,

compuesto por un emisor, un receptor, un canal de transmisin y una
fuente de ruido, que en todo sistema real de transmisin existe en
mayor o menor medida.
Para cualquier sistema de transmisin con un determinado ancho de
banda y con una relacin dada de seal a ruido, el teorema de
Shannon limita la velocidad mxima en bps que se puede obtener, sea
cual sea la tcnica de transmisin empleada.
 Toda la formula de Shannon esta repleta de integrales, derivadas,
clculos de estadstica y probabilidades y procesos matemticos.
 El resultado final del teorema de las comunicaciones de
Shannon es una pequea frmula, fcil de aplicar y de recordar, y de
consecuencias fundamentales para todos los sistemas
de comunicaciones modernas:

C es la velocidad mxima en bits por segundo

B es el ancho de banda en Hz
S/N es la relacin seal a ruido (signal/noise), sin unidades
 Por ejemplo, en un sistema de comunicaciones como es la telefona
analgica, que utiliza un ancho de banda de 3100 Hz (300-3400) y
tiene una relacin de seal a ruido de unos 35,5 dB (la seal
es aproximadamente 3548 veces mayor que el ruido), la velocidad
mxima que se podr obtener ser de:
 La relacin seal/ruido, tambin SR O S/R se mide normalmente en
decibeles (dB).
Cdigo en Python
 Este valor es el valor optimo que debe tomar los mdems sobre una
lnea analgica pero como esta velocidad es terica se han acercado
pero nunca igualado se toma una velocidad de 33600 bps
 En la grafica se presenta la disminucin de velocidad con respecto a la
distancia.
Si queremos dar una velocidad de transmisin de 20 Mbps a un
cliente que vive a unos 300 metros de la central es posible pero si
queremos dar la misma velocidad a uno que vive a 5 Km nos resultara
imposible.
Primer teorema de Shannon
Diferentes cdigos, tienen diferentes tipos de bits
Los cdigos para smbolos con bajas probabilidades tienen ms bits
Los cdigos para smbolos con altas probabilidades tienen menos bits
Cdigos de longitud diferente pueden ser unvocamente
decodificados
 Algoritmo
Para una secuencia de smbolos, se calcula la correspondiente lista
de frecuencias de aparicin de los smbolos.
Se ordena la lista de smbolos segn su frecuencia en orden
decreciente.
Se divide la lista en dos partes, de forma que la suma total
de frecuencias de la mitad superior sea lo ms cercana posible a la
suma total de la parte inferior
A la mitad superior de la lista se le asigna el dgito binario 0, y a la
mitad inferior se le asigna el dgito binario 1. Esto significa que los
cdigos de los smbolos en la primera mitad empezarn todos con 0 y
los cdigos en la segunda mitad empezarn todos con1.
 Cada una de las mitades, se subdivide en grupos y se agregan bits
(dgitos binarios) a los cdigos hasta que cada grupo conste de un
nico smbolo.
Se pueden representar los smbolos a modo de rbol binario
Se calcula la entropa como:
Una vez calculada la entropa se calcula la entropa en el
mensaje (cantidad de bits necesarios para representar el smbolo en
el mensaje)
Finalmente el clculo de los bits de cdigo a transmitir est dado por
la representacin binaria (0,1) del smbolo y los bits de mensajes es
la multiplicacin de los bits de cdigos * la frecuencia del smbolo
Ejemplo
Respuesta
Ejemplo
Ejemplo
Dada la siguiente secuencia de smbolos codifique segn Shannon:

DDABEBADACABAAECDCBAEACABCBAADDEAACAEAB