TEORA DE LA

INFORMACIN
MODELO DE UN CANAL
Un canal se representa :
Un alfabeto de entrada
Un alfabeto de salda
Probabilidades condicionales
De recibir un smbolo b
j
, dado que se envo un
smbolo a
i
.
Se hace un mapeo en el canal es decir tiene que
haber una salida dado que se transmiti una entrada.
Modelo de un canal

Representaciones:

Sea A la entrada Sea B la salida
A= {0,1} B={0,1}

P
AB
= 0.8 0.2

0.3 0.7
CANAL BINARIO SIMTRICO
Este tiene :
Dos entradas (smbolos de entrada)
Dos salidas
Probabilidad de error igual en ambos casos.
(genera una matriz simtrica en la diagonal
principal)

P
AB
= p 1-p

1-p p

CANAL BINARIO CON BORRADO
Dos entradas, tres salidas
La tercera salida representa la perdida
(borrado) de un smbolo.
A={0,1}
B={0,?, 1}

P
AB
= 0.8 0.05 0.15
0.15 0.05 0.8
Representa la perdida
EJEMPLOS DE CANALES
CANAL IDEAL: LO QUE ENTRA SALE
P
AB
= 1 0

0 1
CANAL IDEAL INVERSOR, PARECE
DISTINTO AL IDEAL PERO NO LO ES TANTO.
P
AB
= 0 1

1 0
CANAL BINARIO SIMTRICO CON UNA
PROBABILIDAD DE ERROR DE 0.01
P
AB
= 0.99 0.01

0.01 0.99
CANAL COMPLETAMENTE AMBIGUO, ES COMO UNA
MONEDA AL AIRE DONDE LAS PROBABILIDADES
PUEDEN SER CUALQUIERA, DESCONECTA LA ENTRADA
DE LA SALIDA.
P
AB
= 0.5 0.5

0.5 0.5
PROBABILIDADES HACIA ADELANTE
Son las probabilidades de transicin que son dadas
en la matriz
Normalmente se dan P(A) probabilidades de entrada y
la matriz de probabilidades de transicin P(b
j
| a
j
)
Se puede calcular P(B) de la siguiente manera:
P(b
j
)= P(b
j
| a
j
) P(a
j
)
La sumatoria de las distintas probabilidades condicionales,
multiplicadas por el distinto smbolo de entradas


EJEMPLO:
A={0,1} B={0, 1}






P
AB
= 0.8 0.2 y P
A
= { 0.3, 0.7}

0.3 0.7
P(b=0)= P (b=0 | a=0) P(a=0) + P(b=0 | a=1) Pa=1 =
0.8*0.3 + 0.3*0.7= 0.24 + 0.21= 0.45
P(b=1)= P (b=1 | a=0) P(a=0) + P(b=1 | a=1) Pa=1 =
0.2*0.3 + 0.7*0.7= 0.06 + 0.49= 0.55
PROBABILIDADES HACIA ATRS
La probabilidad de que haya ocurrido una entrada
dado que conozco la salida se pueden calcular
empleando la regla de Bayes.
P(a
i
| b
j
)= P( b
j
| a
i
) P(a
i
)/ P(b
j
)
EJEMPLO
P(a=0| b=0)= P(b=0 | a=0) P(a=0)/P(b=0)= 0.8 *0.3/0.45
=0.533
P(a=1| b=0)= P(b=0 | a=1) P(a=1)/P(b=0)= 0.3*0.7/0.45
=0.467

P(a=0| b=1)= P(b=1 | a=0) P(a=0)/P(b=1)= 0.2 *0.3/0.55
=0.109

P(a=1| b=1)= P(b=1 | a=1) P(a=1)/P(b=1)= 0.8 *0.3/0.55
=0.0.89



ENTROPA A PRIORI (ANTES DE)
Cantidad de informacin que yo tengo en la entrada ANTES
DE conocer la salida es decir H(A), tomando la misma
informacin de los ejercicios anteriores:

H(A)= 0.3 log
2
1/0.3 + 0.7 log
2
1/0.7 =0.8812909
ENTROPA A POSTERIORI (DESPUS
DE..)
Esta entropa se calcula siempre con respecto a un smbolo a
la salida del canal.
Ejemplo: H(A | b=0)Se interpreta la cantidad de
informacin a la entrada conociendo que hay a la salida.

H(A| b
j
)= P(a| b
j
)log
2
1/P(a| b
j
)
EQUIVOCACIN
Si se toma cada entropa a posteriori y se multiplica por la
respectiva probabilidad de la salida y todo eso se suma
se obtiene: H(A|B) Se lee H de A dado B y se llama
EQUIVOCACIN
H(A|B) = H(A|b
j
) P(b
j
)
Medida de la cantidad de ruido en el canal
A mayor equivocacin mayor ruido
A menor equivocacin menor ruido
INFORMACIN MUTUA
H(A) incertidumbre promedio de la entrada
antes de observar la salida
H(A|B) incertidumbre promedio de la entrada
despus de observar la salida.
H(A) H(A|B) informacin promedio de la
entrada resuelta por el canal
La informacin mutua se representa:
I(A;B)=H(A) H(A|B)
PROPIEDADES DE LA INFORMACIN
MUTUA
la informacin mutua siempre ser
mayor o igual a cero esa igualdad se da
en el caso de que los alfabetos sean
independientes.
La informacin mutua entre A y B es
igual a la informacin mutua entre B y A
H(A)=H(A|B)