UNIVERSIDAD NACIONAL DE LOJA

REA DE LA ENERGA, LAS INDUSTRIAS Y LOS RECURSOS NATURALES NO

RENOVABLES
CARRERA DE INGENIERA EN ELECTRNICA Y TELECOMUNICACIONES
MATERIA:
TEORIA DE LA INFORMACION Y CODIFICACION
6 Mdulo
EXPOSICION N 1

ALUMNO
Ethetson Pineda (edpineda_535_@hotmail.com)

DOCENTE:
Ing. Paulo Samaniego

20 de Octubre del 2015

ENTROPIA CONJUNTA

Hemos definido la entropa de una variable aleatoria X. Se da el caso que a

veces, interesa considerar fenmenos en los que aparecen dos variables
aleatorias, sea una de ellas la anterior variable aleatoria X; y sea Y otra variable
aleatoria de rango discreto y finito
= {1 , 2 , . , }
Cuya funcin de masa de probabilidad es
() = ( = )
Consideradas conjuntamente las dos variables aleatorias, X e Y, tenemos una
nueva variable aleatoria bidimensional (X, Y), cuyo rango, tambin discreto y
finito ser
= {( , ): , }
Y cuya funcin de masa de probabilidad ser
(, ) = ( = , = )
Como, a la hora de calcular la entropa, lo nico relevante son los valores de
las probabilidades, pero no los valores que puede tomar la variable aleatoria,
entonces no hay ninguna dificultad para extender la definicin de entropa a
variables aleatorias bidimensionales. As, la entropa de la variable aleatoria
bidimensional (X, Y) vendr dada por

(, ) = ( , )
=1 =1

1
( , )

DEFINICION
Se define la entropa conjunta de las variables aleatorias X e Y como la entropa
de la variable bidimensional (X, Y)

Relacin entre las entropas individuales y la conjunta

Vamos a probar a continuacin que la entropa conjunta de dos variables

aleatorias no puede superar a la suma de las entropas de dichas variables
aleatorias consideradas por separado, Y, ms an, que es condicin necesaria
y suficiente para que la entropa conjunta alga lo mismo que la suma de las
entropas individuales que ambas variables aleatorias sean independientes
entre s.
TEOREMA 1
Se verifica en general que
(, ) () + ()
Siendo condicin necesaria y suficiente que las variables aleatorias X e Y sean
independientes entre s para que se cumpla que
(, ) = () + ()
DEMOSTRACION
Dado que

( ) = ( , )

( ) = ( , )

Entonces

() = ( , )

() = ( , )

1
( )
1
( )

Por tanto

() + () = ( , )

( , )

1
( )( )
1
( )( )

= () + ()
Donde la desigualdad se sigue de la desigualdad de Gibbs; por lo que se tiene,
adems, que se cumplir la igualdad si y solo si se verifica que
( , ) = ( )( ) ( , )

EJEMPLO
Sea (X, Y) una variable aleatoria bidimensional con la siguiente distribucin
conjunta

1
1
8 16
1
1

p ( x, y ) 16 8
1
1
16 16
1
0

1
32
1
32
1
16
0

1
32
1

32
1
16

Encontrar la entropa conjunta de la distribucin conjunta y comprobar el

teorema 1
Primero comprobamos que la suma de las probabilidades de la distribucin
conjunta sea igual a 1

( , ) = 1

1
1
1 1
+4
+ =1
( , ) = 2 + 6
8
16
32 4

Para encontrar la entropa de H(X) y H(Y) tenemos que encontrar la

probabilidad marginal p(x) y p(y)

( ) = ( , )

( ) = ( , )

Para encontrar p(x) sumamos cada columna de la distribucin conjunta

1 1
1 1 1
+
+
+ =
8 16 16 4 2

1 1 1
1
+ +
+0=
16 8 16
4

1
1
1
1
+
+
+0=
32 32 16
8

1
1
1
1
+
+
+0=
32 32 16
8

1 1 1 1
( ) = ( , ) = ( , , , )
2 4 8 8
=1

Para encontrar p(y) sumamos cada columna de la distribucin conjunta

1 1
1
1
1
+
+
+
=
8 16 32 32 4

1 1 1
1
1
+ +
+
=
16 8 32 32 4

1
1
1
1
1
+
+
+
=
16 16 16 16 4

1
1
+0+0+0 =
4
4

1 1 1 1
( ) = ( , ) = ( , , , )
4 4 4 4

A partir de las probabilidades marginales podemos sacar nuestra entropa H(x)

y H(y)
1 1 1 1
1
1 1
1 1
1 1
1
() = ( , , , ) = 2 2 2 2
2 4 8 8
2
2 4
4 8
8 8
8
7
= = 1.75
4

1 1 1 1
1
1
() = ( , , , ) = 4 ( 2 ) = 2
4 4 4 4
4
4
La entropa conjunta podemos calcularla directamente de la matriz
1
1
1
1
1
1
(, ) = 2 ( 2 ) 2 6 ( 2 ) 4
8
8
4
4
16
16
1
1
27
( 2 ) =
= 3,37
32
32
8

Por lo tanto se comprueba el teorema 1

(, ) () + ()

3.37 1.75 + 2

3.37 3.75

REFERECIAS BIBLIOGRAFICAS

[1] Cndido Lpez Garca, Manuel Fernndez Veiga << Teora de la

informacin y codificacin>>: TORCULO Artes Grficas S.A:2002
[2]

Thomas M. COVER, Joy A. THOMAS <<Elements of information

theory >>,New Jersey: JOHN WILEY & SONS, INC: 2006