Taller 1 Entropia

GUILLEN RAMIRO TRIANA MEDINA

TEORIA DE LA INFORMACION Y LAS

TELECOMUNICACIONES
1. Suponga que las calificaciones para teoría de la información están dadas por las
siguientes letras, A, B, C, D, F. ¿Cuánta información hay si el profesor le dice que su
nota no fue F? Con base en lo anterior, ¿cuánta información se necesita para saber su
nota?
4
𝑝𝑝(𝐹𝐹� ) =
5

4
𝐼𝐼𝐹𝐹� = − log 2 𝑝𝑝(𝐹𝐹� ) = − log 2 = 0.3219 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
5

se requiere 0.3219 bits de información si el profesor dice que la nota no fue F.

1 1
𝐻𝐻(𝑋𝑋) = −∑𝑝𝑝𝑖𝑖 log 2 𝑝𝑝𝑖𝑖 = −5 ∗ ∗ log 2 = log 2 5 = 2.3219 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
5 5

se requiere 2.3219 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 información para saber la nota.

2. Se tiene una baraja compuesta por 52 cartas.

a) Calcule la cantidad de información cuando se sabe que una carta escogida

al azar tiene un corazón.
C: Salga un corazón
13
𝑝𝑝(𝐶𝐶) =
52

13
𝐼𝐼𝐶𝐶 = − log 2 𝑝𝑝(𝐶𝐶) = − log 2 = 2 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
52

se requieren 2 bits de información, cuando se sabe que una carta escogida al azar
tiene un corazón.

b) Calcule la cantidad de información cuando se sabe que una carta escogida al

azar tiene un rostro.

R: Salga una carta con rostro

12
𝑝𝑝(𝑅𝑅) =
52

12
𝐼𝐼𝑅𝑅 = − log 2 𝑝𝑝(𝑅𝑅) = − log 2 = 2.1155 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
52

se requieren 2.1155 bits de información, cuando se sabe que una carta escogida al
azar tiene un rostro.
 c) Calcule la cantidad de información cuando se sabe que una carta escogida al
azar tiene un corazón y un rostro.

CR: Salga una carta que tiene un corazón y un rostro

3
𝑝𝑝(𝐶𝐶𝐶𝐶) =
52

3
𝐼𝐼𝐶𝐶𝐶𝐶 = − log 2 𝑝𝑝(𝐶𝐶𝐶𝐶) = − log 2 = 4.1155 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
52

se requieren 4.1155 bits de información, cuando se sabe que una carta escogida al
azar tiene un corazón y un rostro.

d) Si se escoge una carta que ya se sabe que es una carta de corazones y que
tiene un rostro, ¿cuánta información se necesita para saber exactamente el tipo
de carta?
3
𝑝𝑝(𝐶𝐶𝐶𝐶) =
52

3 3 3
𝐻𝐻(𝑋𝑋) = −∑𝑝𝑝𝑖𝑖 log 2 𝑝𝑝𝑖𝑖 = − ∗ log 2 = − ∗ (−4.1155) = 0.2374 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
52 52 52

se necesita 0.2374 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 de información para saber exactamente el tipo de carta.

3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos:
1 1 1 1 1
𝑃𝑃(𝐴𝐴) = 2 ,𝑃𝑃(𝐵𝐵) = 4 , 𝑃𝑃(𝐶𝐶) = 8 , 𝑃𝑃(𝐷𝐷) = 𝑃𝑃(𝐸𝐸) = 20 , 𝑃𝑃(𝐹𝐹) = 40 . Encuentre la cantidad
de información contenida en los mensajes ABABBA y FDDFDF, compare con la cantidad
de información obtenida para un mensaje cualquiera de 6 símbolos.

1 1 1 2 1
𝐻𝐻(𝑥𝑥) = −∑𝑝𝑝𝑖𝑖 log 2 𝑝𝑝𝑖𝑖 = log 2 2 + log 2 4 + log 2 8 + log 2 20 + log 2 40
2 4 8 20 40
= 1.9402 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏

𝑃𝑃(ABABBA) = 𝑃𝑃(𝐴𝐴) ⋅ 𝑃𝑃(𝐵𝐵) ⋅ 𝑃𝑃(𝐴𝐴) ⋅ 𝑃𝑃(𝐵𝐵) ⋅ 𝑃𝑃(𝐵𝐵) ⋅ 𝑃𝑃(𝐴𝐴) = 𝑃𝑃(𝐴𝐴)3 𝑃𝑃(𝐵𝐵)3

1 3 1 3 1 1 1
=� � � � = ∗ =
2 4 8 64 512

1
𝐼𝐼ABABBA = − log 2 𝑃𝑃(ABABBA) = − log 2 = 9 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
512

la cantidad de información contenida en el mensaje ABABBA es de 9bits.

 𝑃𝑃(FDDFDF) = 𝑃𝑃(𝐹𝐹) ⋅ 𝑃𝑃(𝐷𝐷) ⋅ 𝑃𝑃(𝐷𝐷) ⋅ 𝑃𝑃(𝐹𝐹) ⋅ 𝑃𝑃(𝐷𝐷) ⋅ 𝑃𝑃(𝐹𝐹) = 𝑃𝑃(𝐹𝐹)3 𝑃𝑃(𝐷𝐷)3
1 3 1 3 1 1 1
=� � � � = ∗ =
40 20 64000 800 512000000

1
𝐼𝐼FDDFDF = − log 2 𝑃𝑃(FDDFDF) = − log 2 = 28.9316 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
512000000

la cantidad de información contenida en el mensaje FDDFDF es de 28.9316 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏.

𝐻𝐻(𝑥𝑥 6 ) = 6𝐻𝐻(𝑥𝑥) = 6 ∗ 1.9402 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 = 11.6412 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏

la información obtenida para un mensaje cualquiera de 6 símbolos es de

11.6412 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏, esta mayor que la cantidad de información contenida en el mensaje
ABABBA que es de 9bits y es menor que la cantidad de información contenida en el
mensaje FDDFDF que es de 28.9316 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏.

4. Calcule la tasa de información de un telégrafo que emite dos símbolos, punto y

línea. La duración del punto es de 0.2 segundos mientras que la línea dura el doble de
tiempo. La probabilidad de emisión de la línea es la mitad de la probabilidad de
emisión del punto.

EL: emisión de la línea

EP: emisión del punto

𝑝𝑝
𝑃𝑃(𝐸𝐸𝐸𝐸) =
2
𝑃𝑃(𝐸𝐸𝐸𝐸) = 𝑝𝑝
ya que
𝑝𝑝
+ 𝑝𝑝 = 1
2
𝑝𝑝 2
+ 𝑝𝑝 = 1
2 2
3𝑝𝑝
=1
2
2
𝑝𝑝 =
3

entonces
2
2
𝑃𝑃(𝐸𝐸𝐸𝐸) = 3 =
2 6
2
𝑃𝑃(𝐸𝐸𝐸𝐸) =
3
ahora
2
𝐼𝐼𝐸𝐸𝐸𝐸 = − log 2 𝑃𝑃(𝐸𝐸𝐸𝐸) = − log 2 = 1.5849 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
6
2
𝐼𝐼𝐸𝐸𝐸𝐸 = − log 2 𝑃𝑃(𝐸𝐸𝐸𝐸) = − log 2 = 0.5849 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
3

1.5849𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 0.5849 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏

𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 𝑑𝑑𝑑𝑑 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 = +
0,4𝑠𝑠 0,2𝑠𝑠
= 3.96225𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏/𝑠𝑠 + 2,9245𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏/𝑠𝑠 = 6.88675𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏/𝑠𝑠

2 2 2 2
𝐻𝐻(𝑥𝑥) = −∑𝑝𝑝𝑖𝑖 log 2 𝑝𝑝𝑖𝑖 = − log 2 − log 2 = 0,9183𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
6 6 3 3

𝑇𝑇𝑇𝑇𝑇𝑇𝑇𝑇 𝑑𝑑𝑑𝑑 𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖ó𝑛𝑛 = 6.88675𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏/𝑠𝑠 ∗ 0,9183𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 = 6,3241𝑏𝑏𝑏𝑏𝑏𝑏𝑠𝑠 2 /𝑠𝑠

La tasa de información del telégrafo es de 6,3241𝑏𝑏𝑏𝑏𝑏𝑏𝑠𝑠 2 /𝑠𝑠.

5. Para la fuente de Márkov de la figura 1.

1 2
𝑃𝑃𝐴𝐴𝐴𝐴 = �3 3�
2 1
3 3

1 2 1 2 2 2
−1 −
𝑃𝑃𝐴𝐴𝐴𝐴 − 𝐼𝐼 = �3 3� − �1 0� = �3 3 �=� 3 3 �
2 1 0 1 2 1 2 2
−1 −
3 3 3 3 3 3

2 2
− 𝑉𝑉0 + 𝑉𝑉1 = 0
3 3
2 2
𝑉𝑉 − 3 𝑉𝑉1 = 0 𝑉𝑉0 + 𝑉𝑉1 = 1
3 0
 podemos observar que la segunda ecuación es proporcional a la primera, por lo que
la podemos descartar y nos queda
2 2
− 𝑉𝑉0 + 𝑉𝑉1 = 0
3 3
𝑉𝑉0 + 𝑉𝑉1 = 1

de donde obtenemos
1
𝑉𝑉1 =
2
1
𝑉𝑉2 =
2

a) calcule la entropía de la fuente.

1 1 2 2
𝐻𝐻(𝑋𝑋) = �− log 2 + log 2 � ∗ 2 = 0.2766𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
3 3 3 3

b) calcule la entropía conjunta de la fuente cuando se envían dos símbolos.

1 1 2 1
𝐻𝐻(𝑋𝑋) = �− log 2 � ∗ 2 = − log 2 = 0.52832𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
3 3 3 3

c) calcule la entropía condicional de la fuente. Figura 1: Fuente de Márkov.

1 1 1 2 2 1 1 2 2
𝐻𝐻(𝑋𝑋|𝑌𝑌) = ∗ �− log 2 + log 2 � ∗ 2 = − log 2 + log 2 = 0.1383𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
2 3 3 3 3 3 3 3 3

6. Una fuente binaria tiene las siguientes probabilidades de transmisión de cero

o uno, P0 = P1 = 1/2. Además las probabilidades de recibir un valor dado que
se envió otro son: P(0|1) = (1|0) = 3/4. Calcule la entropía condicional de la
fuente.

1 3
𝑃𝑃01 = �4 4�
3 1
4 4
1 1
� , �
2 2

1 1 1 3 3 1 3 3
𝐻𝐻(𝑋𝑋|𝑌𝑌) = ∗ �− ∗ log 2 � � − ∗ log 2 � �� ∗ 2 = ∗ log 2 (4) − ∗ log 2 � �
2 4 4 4 4 4 4 4
= 0.915 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏