Material Teoria Da Informação

1_TeoInfo_V2011 - Geraldo Gil R.
Gomes
1

O trabalho de Shannon sobre a teoria da informao, publicado em 1948, estabelece a base
terica para que sistemas de comunicaes sejam eficientes e confiveis.

Os principais tpicos abordados nessas notas de aulas so:

A Entropia como uma medida bsica de informao.
O Teorema da Codificao de Fonte e algoritmos de compactao de dados.
Informao Mtua e sua relao com a capacidade do canal de informao para a
transmisso de informao.
Teorema da Codificao de Canal como base para comunicaes confiveis.
Teorema da Capacidade de Informao como a base para a soluo de compromisso
entre a largura de faixa do canal e a relao sinal-rudo.

1.1. INTRODUO

No contexto das comunicaes, a teoria da informao fornece uma modelagem matemtica
que permite responder duas questes fundamentais:

1. Qual a complexidade irredutvel abaixo da qual um sinal no pode ser comprimido?
2. Qual a mxima taxa de transmisso para uma comunicao confivel em um canal
ruidoso?

As respostas para as duas questes acima definem bem as duas principais vertentes da teoria
da informao: codificao de fonte e codificao de canal.

1.2. INCERTEZA, INFORMAO E ENTROPIA

Suponha que um experimento probabilstico envolva a observao da sada de uma fonte de
eventos discretos em unidades de intervalo de tempo. Estes eventos podem ser modelados
como variveis discretas aleatrias (s
k
) que fazem parte de um conjunto ou alfabeto (S).
Assim, S = {s
0
, s
1
, ... , s
K-1
} com probabilidades P(S = s
k
) = p
k
, para k = 0, 1, ... , K-1, que
satisfaz a igualdade
1
1
0
=
=
K
k
k
p
.

Alm disso, admita que os smbolos emitidos pela fonte sejam estatisticamente
independentes. Uma fonte com tais propriedades definida como fonte discreta sem memria.
1
LIMITES FUNDAMENTAIS NA TEORIA DA INFORMAO
1. Limites Fundamentais da Teoria da Informao
1_TeoInfo_V2011 - Geraldo Gil R. Gomes
2
O termo sem memria tem o sentido de que o smbolo emitido a qualquer tempo
independente de uma escolha prvia.

A quantidade de informao produzida pela fonte est associada incerteza ou surpresa. Se
no h surpresa no h informao. A quantidade de informao, I(s
k
), obtida por um evento,
s
k
, definida como:
( )
|
|
\
|
=
k
k
p
s I
1
log
2 (1.1)

NOTA DO PROFESSOR

Conforme mencionado no livro texto, a base do logaritmo arbitrria. Entretanto, uma vez
que os sistemas de comunicaes digitais operam com base binria, a base do logaritmo 2.
Como consequncia, cada smbolo de uma fonte discreta sem memria apresenta, neste caso,
uma quantidade de informao em nmero de bits, que depende exclusivamente da
probabilidade de ocorrncia de cada smbolo.

A quantidade de informao apresenta as seguintes propriedades:

( )
( )
( ) ( )
( ) ( ) ( )
l k l k
l k l k
k k
k k
s I s I s s I
p p ento s I s I
p para s I
p para s I
+ =
< >

= =
. 4
. 3
1 0 0 . 2
1 0 . 1

A quantidade de informao produzida por uma fonte durante um intervalo de tempo
arbitrrio depende do conjunto de smbolos emitidos pela fonte. A mdia da quantidade de
informao I(s
k
) de uma fonte de alfabeto (S) dada por

( ) ( ) [ ]
( )

=
|
|
\
|
=
=
1
0
2
1
log
K
k k
k
k
p
p H
s I E H
S
S
. (1.2)

H(S) que definida como entropia. A entropia determina a quantidade mdia de informao
por smbolo (evento) da fonte.
3

PROPRIEDADES DA ETROPIA

Limitantes:
( ) K H
2
log 0 S (1.3)
Consequncias:

1. H(S) = 0, se e somente se a probabilidade p
k
= 1 para um dado valor de k e todas as
outras probabilidades so iguais a zero. Neste caso no h incerteza.
2. H(S) = log
2
K, se e somente se p
k
= 1/K, ou seja, todos os smbolos so equiprovveis.
Neste caso a incerteza mxima.

Nos canais de comunicao digital, uma fonte de grande interesse a fonte binria sem
memria. Para essa fonte interessante o entendimento do comportamento da entropia em
funo da probabilidade de ocorrncia dos eventos "0" e "1". Esse comportamento mostrado
no Exemplo 1.1.

EXEMPLO 1.1

Considere uma fonte discreta sem memria que emite os smbolos s
0
= 0 e s
1
= 1, com
probabilidades p
0
e p
1
, respectivamente. A entropia desta fonte

( )
|
|
\
|
+
|
|
\
|
=
|
|
\
|
=
= 1
2 1
0
2 0
1
0
2
1
log
1
log
1
log
p
p
p
p
p
p H
K
k k
k
S

Mas p
1
= 1 p
0
.
( ) ( )
|
|
\
|
+
|
|
\
|
=
0
2 0
0
2 0
1
1
log 1
1
log
p
p
p
p H S

Consequentemente, a entropia da fonte torna-se

( ) ( ) ( )
0 2 0 0 2 0 0
1 log 1 log p p p p p = H (1.4)

Onde, H(p
0
) chamada de funo entropia e

1. Quando p
0
= 0, H(S) = 0.
2. Quando p
1
= 1, H(S) = 0.
3. A entropia mxima quando p
1
= p
0
= .

A figura apresentada a seguir apresenta a funo entropia em funo de p
0
.
4
Figura 1.1 - Funo entropia de uma fonte discreta sem memria.

1.3. TEOREMA DA CODIFICAO DE FONTE

A codificao de fonte o processo pelo qual os dados de uma fonte discreta so
representados de forma a permitir uma transmisso eficiente. Probabilidades diferentes para a
ocorrncia dos smbolos de uma fonte discreta podem ser exploradas para uma codificao de
fonte com um cdigo de comprimento varivel. Entretanto, cdigos de comprimento varivel
exigem o conhecimento prvio da estatstica da fonte. Um exemplo clssico de cdigo de
comprimento varivel o Cdigo Morse, que faz uso da estatstica da fonte. Na construo do
cdigo, Morse observou que na lngua inglesa a letra e a letra que aparece com maior
frequncia e no Cdigo Morse ela representada por um . Por outro lado, a letra q a letra
que ocorre com menos frequncia e representada pela sequncia - - -.

No caso especfico dos sistemas de comunicaes digitais conveniente que dois requisitos
funcionais sejam satisfeitos:

1. As palavras cdigos devem estar na forma binria.
2. As palavras cdigos devem ser inequivocamente decodificveis.

O comprimento mdio das palavras cdigos de uma codificao de fonte determinado por

=
=
1
0
K
k
k k
l p L (1.5)

onde l
k
o nmero de bits da palavra cdigo correspondente ao smbolo k.
0
1
1 0,5
H(p
0
)
p
0

Probabilidade de smbolo
5

PRIMEIRO TEOREMA DE SHAO

TEOREMA DA CODIFICAO DE FOTE

Dada uma fonte discreta sem memria de entropia H(S), o comprimento mdio das palavras
cdigos para um esquema de codificao livre de distoro limitado como

( ) S H L . (1.6)

De acordo com o Primeiro Teorema de Shannon a entropia representa um limite fundamental
do nmero mdio de bits por smbolo necessrios para representar uma fonte discreta sem
memria. Em outras palavras, um esquema de codificao de fonte pode ser feito de modo
que o comprimento mdio das palavras cdigos seja to pequeno quanto entropia, mas
nunca menor do que ela. Assim, eficincia de codificao pode ser definida pela relao

( )
L
H S
= . (1.7)

Uma vez que o Teorema da Codificao de Fonte admite que ( ) S H L = , ento o maior valor
possvel para a eficincia de codificao de fonte igual a unidade.

1.4. COMPACTAO DE DADOS

Para uma transmisso eficiente as informaes redundantes devem ser removidas do sinal que
ser transmitido. Neste texto os termos compactao e compresso apresentam significados
distintos. Aqui, o termo compactao est associado a um processo onde no h perda de
informao, enquanto o termo compresso usado nos processos em que se admite perda de
informao. Em outras palavras, a compactao o mesmo que uma compresso sem perdas.
Na compactao de dados, o processo de codificao de fonte limitado, necessariamente,
pela entropia da fonte.

CDIGOS PREFIXOS

Um cdigo prefixo um cdigo de fonte que apresenta decodificao inequvoca, ou seja, sua
decodificao no resulta em ambiguidade. Um cdigo prefixo aquele que nenhuma palavra
cdigo prefixo para qualquer outra palavra cdigo.

DEFINIO: Um prefixo, com i bits, a parte inicial de qualquer palavra cdigo com n bits,
sendo i n.

Para ilustrar o conceito, observe a tabela a seguir.

6
Tabela 1.1 - Exemplos de cdigos de fonte.

Smbolo Probabilidade Cdigo I Cdigo II Cdigo III
S
0
0,5 0 0 0
S
1
0,25 1 10 01
S
2
0,125 00 110 011
S
3
0,125 11 111 0111

A partir do apresentado na Tabela 1.1 verifica-se que:

1. O Cdigo I no um cdigo prefixo.
2. O Cdigo II um cdigo prefixo.
3. O Cdigo III no um cdigo prefixo.

A decodificao de um cdigo prefixo pode ser feita de acordo com uma rvore de deciso. A
rvore de deciso pode ser construda de acordo com as seguintes regras:

1. A partir de um estado inicial criam-se dois ramos. Para um ramo atribudo o bit "0" e
para o outro um bit "1".
2. Se houver uma palavra cdigo com apenas um bit, o ramo correspondente palavra
cdigo deve ser terminado com o smbolo correspondente.
3. O(s) ramo(s) no terminado em smbolo deve ser bifurcado em novos dois ramos. Para
um ramo atribudo o bit "0" e para o outro um bit "1".
4. Se houver uma palavra cdigo com dois bits, o ramo correspondente palavra cdigo
deve ser terminado com o smbolo correspondente.
5. O(s) ramo(s) no terminado em smbolo deve ser bifurcado em novos dois ramos. Para
um ramo atribudo o bit "0" e para o outro um bit "1".
6. Este procedimento se repete at que todos os ramos terminem em smbolos.

Para o Cdigo II, a rvore de deciso est apresentada na Figura 1.2. Note que sua
decodificao inequvoca e instantnea.
Figura 1.2 - rvore de decodificao para o Cdigo II.

s
0

s
1

s
2

s
3

0
0
0
1
1
1
Estado inicial
7
A sequncia 1011111000... inequivocamente decodificvel e corresponde correspondente
sequncia de smbolos s
1
s
3
s
2
s
0
s
0
.

Uma condio necessria, mas no suficiente, para que um cdigo possa ser um cdigo
prefixo atender a desigualdade de Kraft-McMillan, definida como:

1 2
1
0

K
k
l
k
(1.8)

Assim verifica-se que:

Para o Cdigo I:
5 , 1 2 2 2 2 2
2 2 1 1
1
0
= + + + =

K
k
l
k

Para o Cdigo II:
1 2 2 2 2 2
3 3 2 1
1
0
= + + + =

K
k
l
k

Para o Cdigo III:
9375 , 0 2 2 2 2 2
4 3 2 1
1
0
= + + + =

K
k
l
k

Observaes:

1. O Cdigo I viola a desigualdade de Kraft-McMillan.
2. A desigualdade de Kraft-McMillan foi satisfeita pelos Cdigos II e III, entretanto,
apenas o Cdigo II um cdigo prefixo.
3. O Cdigo III inequivocamente decodificvel apesar de no ser um cdigo prefixo,
ou seja, um cdigo inequivocamente decodificvel no precisa ser, necessariamente
um cdigo prefixo, entretanto, sua decodificao no instantnea.

ALGORITMO DE HUFFMA

O procedimento de Huffman para a criao de um cdigo prefixo consiste de um pequeno
conjunto de regras. Essas regras so apresentadas no exemplo apresentado a seguir.

EXEMPLO 1.2

Suponha uma fonte discreta sem memria S = {s
0
, s
1
, s
2
, s
3
, s
4
k
)
= {0,4; 0,2; 0,2; 0,1; 0,1}. Um cdigo prefixo pode ser obtido de acordo com o conjunto de
regras apresentadas a seguir (algoritmo de Huffman).

1. Os smbolos da fonte so listados em ordem decrescente de probabilidade. Aos dois
smbolos de menor probabilidade, localizados no p da coluna, so atribudos os 0 e 1.
8

2. Os dois smbolos de menor probabilidade so agrupados em um nico smbolo, cuja
probabilidade a soma das probabilidades. As probabilidades so novamente listadas em
ordem decrescente de probabilidade em uma segunda coluna. Por um motivo que ser
explicado posteriormente, na reordenao dos smbolos por ordem decrescente de
probabilidade o novo smbolo, resultado do agrupamento, foi colocado na posio mais
alta possvel, sem violar a ordem decrescente de probabilidade.

3. O procedimento repetido at que restem apenas dois smbolos, aos quais so atribudos
novamente os bits 0 e 1.
s
0
s
1
s
2
s
3
s
4
0,4

0,2

0,2

0,1

0,1

0
1
0,2

0,2

0,2

0,4

0
1
s
0
s
1
s
2
s
3
s
4
0,4

0,2

0,2

0,1

0,1

0
1
9

4. As palavras cdigos binrias so obtidas fazendo o caminho inverso, a partir da ltima
coluna, em direo a primeira coluna, anotando-se os bits encontrados em cada percurso,
at cada smbolo listado na primeira coluna, conforme mostrado nas figuras a seguir.

s
0
s
1
s
2
s
3
s
4
0,4

0,2

0,2

0,1

0,1

0
1
0,2

0,2

0,2

0,4

0
1
0,4

0,2

0,4

0
1
0,4

0,6

1
0
s
0
s
1
s
2
s
3
s
4
0,4

0,2

0,2

0,1

0,1

0
1
0,2

0,2

0,2

0,4

0
1
0,4

0,2

0,4

0
1
0,4

0,6

1
0
s
0
= 00
10

s
0
s
1
s
2
s
3
s
4
0,4

0,2

0,2

0,1

0,1

0
1
0,2

0,2

0,2

0,4

0
1
0,4

0,2

0,4

0
1
0,4

0,6

1
0
s
1
= 10
0,1

s
0
s
1
s
2
s
3
s
4
0,4

0,2

0,2

0,1

0
1
0,2

0,2

0,2

0,4

0
1
0,4

0,2

0,4

0
1
0,4

0,6

1
0
s
2
= 11
0,4

0,4

0,4

0,6

s
0
s
1
s
2
s
3
s
4
0,2

0,2

0,1

0,1

0
1
0,2

0,2

0,2

0
1
0,4

0,2

0
1
0,4

1
0
s
3
= 010
11

O resultado da codificao est apresentado na Tabela 1.2.

Tabela 1.2 - Palavras cdigos obtidas no Exemplo 1.2.

s
0
00
s
1
10
s
2
11
s
3
010
s
4
011

O comprimento mdio das palavras cdigos obtidas neste exemplo :

lo bits/smbo 2 , 2
) 3 ( 1 , 0 ) 3 ( 1 , 0 ) 2 ( 2 , 0 ) 2 ( 2 , 0 ) 2 ( 4 , 0
1
0
=
+ + + + = =
=
L
l p L
K
k
k k

Sendo a entropia determinada por:

( )
( ) lo bits/smbo 12193 , 2
1 , 0
1
log 1 , 0
1 , 0
1
log 1 , 0
2 , 0
1
log 2 , 0
2 , 0
1
log 2 , 0
4 , 0
1
log 4 , 0
1
log
2 2
2 2 2
1
0
2
=
|
\
|
+ |
\
|
+
+ |
\
|
+ |
\
|
+ |
\
|
=
|
|
\
|
=
=
S
S
H
p
p H
K
k k
k

A eficincia obtida nesta codificao :
s
0
s
1
s
2
s
3
s
4
0,4

0,2

0,2

0,1

0,1

0
1
0,2

0,2

0,2

0,4

0
1
0,4

0,2

0,4

0
1
0,4

0,6

1
0
s
4
= 011
12
0
0
S
0

S
1
0
1
1
1
0
S
S
S
( )
9645 , 0
2 , 2
12193 , 2
= = =
L
H S

A rvore de deciso para o cdigo do Exemplo 1.2 est mostrada na Figura 1.3.

Figura 1.3 - rvore de decodificao para o cdigo do Exemplo 1.2.

* * *

O processo de codificao de Huffman no nico. Pelo menos duas variaes no processo
de codificao so possveis.

1. No agrupamento dos smbolos, o rtulo 0 e 1 para cada smbolo arbitrrio, poderia
ser 1 e 0. Entretanto, a mesma conveno deve ser mantida do incio ao fim.
2. A colocao de smbolos combinados com mesma probabilidade que outro(s), na
posio mais alta da coluna, tambm arbitrrio, poderia no ser na posio mais alta.

Qualquer que seja a forma arbitrada para a codificao, o comprimento mdio do cdigo
sempre ser o mesmo, entretanto, a colocao de smbolos combinados com mesma
probabilidade que outro(s), na posio mais alta da coluna, resulta em uma menor varincia
do comprimento das palavras cdigos.

A varincia do comprimento das palavras cdigos,
2
, determinada por

( )
=
=
1
0
2
2
K
k
k k
L l p . (1.9)

13

NOTA DO PROFESSOR

Suponha a sequncia 00010110111000. Verifica-se atravs da rvore de deciso apresentada
no Exemplo 1.3 que a sequncia inequivocamente decodificvel como sendo S
0
; S
3
; S
2
; S
4
;
S
1
e S
0
.

Concluso: Este exemplo mostra que o algoritmo de Huffman produz um cdigo prefixo com
comprimento mdio prximo da entropia e inequivocamente decodificvel.

Conforme mostrado pelo Primeiro Teorema de Shannon possvel obter um cdigo cujo
comprimento mdio das palavras cdigos seja igual a entropia, ou seja,

( ) S H L = . (1.10)

Isso ocorre quando a probabilidade de um evento igual ao inverso da base numrica da
codificao elevado ao comprimento da palavra cdigo correspondente a este evento. Em
outras palavras,

k
l
k
p

= 2 . (1.11)

Entretanto, isso uma casualidade uma vez que necessrio que a correspondncia
estabelecida por (1.11) ocorra para todas as probabilidades e suas respectivas palavras
cdigos. Para esta condio particular, diz-se que o cdigo prefixo est casado com a fonte.
Note que o Cdigo II um cdigo que atende esta condio, ou seja, um cdigo prefixo
casado com a fonte.

Quando um cdigo no casado com a fonte possvel obter um comprimento mdio das
palavras cdigos to prximo da entropia quanto desejado por meio de um cdigo prefixo
estendido. Para isso necessrio estender a fonte original S para uma fonte S
n
, ou seja, o
comprimento mdio das palavras cdigos aproxima-se da entropia na medida em que o valor
de n aumentado na fonte estendida. Como o nmero de smbolos de uma fonte estendida S
n

K
n
, a diminuio do comprimento mdio do cdigo tem como preo um aumento da
complexidade de decodificao.

EXTESO DE UMA FOTE DISCRETA SEM MEMRIA

Considere a fonte discreta sem memria S = {s
0
, s
1
, ... , s
K-1
} com um nmero de smbolos K
= 3 e com probabilidades P(S = s
k
) = p
k
, para k = 0, 1, ... , K-1, logo

{ }
2 1 0
, , s s s = S

P(S = s
k
) = {p
0
; p
1
; p
2
}.

Considere os blocos formados conforme apresentado na Tabela 1.3.

14
Tabela 1.3 - Extenso da fonte S em S
2
.

Blocos s
0
s
0
s
0
s
1
s
0
s
2
s
1
s
0
s
1
s
1
s
1
s
2
s
2
s
0
s
2
s
1
s
2
s
2

Smbolos
0
1

2

3

4

5

6

7

8

Probabilidades p
0
. p
0
p
0
. p
1
p
0
. p
2
p
1
. p
0
p
1
. p
1
p
1
. p
2
p
2
. p
0
p
2
. p
1
p
2
. p
2

Ento,
{ {{ { } }} }
8 1 0
2
, , , K = == = S

chamada de fonte estendida que tem K
n
smbolos, onde n o nmero de smbolos da fonte
discreta que, combinados, compem cada novo smbolo da fonte estendida, ou seja,

smbolos 9 3
2
= =
n
K
A entropia da fonte estendida
) ( ) ( S S nH H
n
= == = (1.12)

EXEMPLO 1.3

Suponha uma fonte discreta sem memria S = {s
0
, s
1
, s
2
k
) =
{0,6; 0,3; 0,1}. Admita que essa fonte deva ser codificada com um cdigo prefixo com
eficincia igual ou maior do que 0,95.

Codificao da fonte S

lo bits/smbo 4 , 1
) 2 ( 1 , 0 ) 2 ( 3 , 0 ) 1 ( 6 , 0
1
0
=
+ + = =
=
L
l p L
K
k
k k

( )
( ) o bit/smbol 295 , 1
1 , 0
1
log 1 , 0
3 , 0
1
log 3 , 0
6 , 0
1
log 6 , 0
1
log
2 2 2
1
0
2
\
|
+ |
\
|
+ |
\
|
=
|
|
\
|
=
=
S
S
H
p
p H
K
k k
k

s
0
s
1
s
2
0,6

0,3

0,1

0
1
0,4

0,6

0
1
s
0
= 0
s
1
= 10
s
2
= 11
15
( )
925 , 0
4 , 1
295 , 1
= = =
L
H S
A eficincia est abaixo da especificao.

Codificao da fonte S
2

Blocos s
0
s
0
s
0
s
1
s
0
s
2
s
1
s
0
s
1
s
1
s
1
s
2
s
2
s
0
s
2
s
1
s
2
s
2

Smbolos
0

1

2

3

4

5

6

7

8

Probabilidades 0,36 0,18 0,06 0,18 0,09 0,03 0,06 0,03 0,01

0
= 00
3
= 11
6
= 0111
1
= 10
4
= 0100
7
= 010100
2
= 0110
5
= 01011
8
= 010101

o bit/smbol 67 , 2
6 01 , 0 6 03 , 0
4 06 , 0 5 03 , 0 4 09 , 0 2 18 , 0 4 06 , 0 2 18 , 0 2 36 , 0
1
0
=
+ +
+ + + + + + = =
=
L
l p L
K
k
k k

0,36
0,18
6
0,18
0,09
36
0,06
0,06
0,03
0,03
0,01
8

0,04
0,03
0
1
0,36
0,18
6
0,18
0,09
36
0,06
0,06
0,06
0,36
0,18
6
0,18
0,09
36
0,07
0,06
0
1
0,36
0,18
6
0,18
0,12
0,09
0,07
0
1
0,36
0,18
6
0,18
0,16
0,12
0
1
0,36
0,28
6
0,18
0,18
0
1
0,36
0,36
0,28
0
1
0,64
0,36
0
1
0
1
16
( )
( ) o bit/smbol 59 , 2
01 , 0
1
log 01 , 0
03 , 0
1
log 03 , 0
03 , 0
1
log 03 , 0
06 , 0
1
log 06 , 0
06 , 0
1
log 06 , 0
09 , 0
1
log 09 , 0
18 , 0
1
log 18 , 0
18 , 0
1
log 18 , 0
36 , 0
1
log 36 , 0
1
log
2
2 2
2 2 2
2 2 2 2
1
0
2
2
=
|
\
|
+ |
\
|
+
+ |
\
|
+ |
\
|
+ |
\
|
+
|
\
|
+ |
\
|
+ |
\
|
+ |
\
|
=
|
|
\
|
=
=
S
S
H
p
p H
K
k k
k

Ou, simplesmente,
o bit/smbol 59 , 2 295 , 1 2 ) ( 2 ) ( = = = S S
2
H H

( )
97 , 0
67 , 2
59 , 2
= = =
L
H
2
S
A eficincia atende especificao.

* * *

CODIFICAO DE LEMPEL-ZIV

Conforme j comentado, a construo de um cdigo prefixo, como os cdigos obtidos por
meio do algoritmo de Huffman, pressupe o conhecimento prvio da estatstica da fonte. Isso
representa uma desvantagem em algumas aplicaes, como por exemplo, na compactao de
texto. A estatstica da fonte para um texto pode mudar de acordo com lngua utilizada, ou seja,
a estatstica da fonte para a lngua inglesa diferente da estatstica da fonte da lngua
portuguesa. Alm disso, dentro de uma mesma lngua, a estatstica da fonte pode variar de
acordo com a natureza do texto. Para aplicaes tais como compactaes de textos existem
cdigos que se adaptam estatstica da fonte. O algoritmo de Lempel-Ziv adaptativo e no
necessita do conhecimento prvio da estatstica da fonte. Para ilustrar este algoritmo considere
a seguinte sequncia binria:

000101110010100101. . .

O mecanismo de codificao pode ser entendido de acordo com a sequncia apresentada a
seguir.

1. Inicialmente os bits 0 e 1 so previamente armazenados nas posies numricas 0 e 1,
conforme apresentado a seguir. Tais posies numricas compem o livro de cdigos.

Posio numrica 0 1 2 3 4 5 6 7 0
Subsequncias 0 1
Blocos codificados - -

17
2. Em seguida, a subsequncia mais curta, ainda no armazenada em nenhuma posio
binria, armazenada na posio 2 pelo codificador. Esta subsequncia 00. O processo
de codificao consiste em transmitir a posio de memria onde se encontra a parte da
subsequncia 00 j armazenada anteriormente, na forma binria, e o que novidade
simplesmente repetido. Ou seja, da subsequncia 00, o primeiro 0 se encontra na
posio numrica 0 (000 em binrio) e o segundo 0 simplesmente repetido. Veja a
seguir.

Posio numrica 0 1 2 3 4 5 6 7 0
Subsequncias 0 1 00
Blocos codificados - - 000 0

3. Novamente a prxima subsequncia mais curta ainda no armazenada em nenhuma
posio binria, que a subsequncia 01, armazenada na posio 3. A posio de
memria onde se encontra a parte da subsequncia 01 j armazenada a posio 0 (000
em binrio) e a parte novidade 1 repetida. Logo, o bloco codificado agora 0001,
conforme mostrado a seguir.

Posio numrica 0 1 2 3 4 5 6 7 0
Subsequncias 0 1 00 01
Blocos codificados - - 0000 0001

4. Este procedimento repetido conforme apresentado na sequncia a seguir.

Posio numrica 0 1 2 3 4 5 6 7 0
Subsequncias 0 1 00 01 011
Blocos codificados - - 0000 0001 0111

Posio numrica 0 1 2 3 4 5 6 7 0
Subsequncias 0 1 00 01 011 10
Blocos codificados - - 0000 0001 0111 0010

Posio numrica 0 1 2 3 4 5 6 7 0
Subsequncias 0 1 00 01 011 10 010
Blocos codificados - - 0000 0001 0111 0010 0110

Posio numrica 0 1 2 3 4 5 6 7 0
Subsequncias 0 1 00 01 011 10 010 100
Blocos codificados - - 0000 0001 0111 0010 0110 1010

Posio numrica - 1 2 3 4 5 6 7 0
Subsequncias - 1 00 01 011 10 010 100 101
Blocos codificados - - 0000 0001 0111 0010 0110 1010 1011

Para a sequncia no codificada 00 01 011 10 010 100 101..., obteve-se a sequncia
codificada 0000 0001 0111 0010 0110 1010 1011... .
18
O processo de decodificao iniciado a partir de trs premissas:

1) O codificador e o decodificador possuem o mesmo nmero de memrias no livro de
cdigos e, portanto, o decodificador conhece o tamanho do bloco codificado.
2) O decodificador tambm inicia o processo de decodificao com os bits 0 e 1
armazenados nas posies numricas 0 e 1.
3) O decodificador compe o seu prprio livro de cdigo usando as memrias na mesma
sequncia que o codificador.

A partir das premissas acima possvel verificar como o decodificador compe o seu prprio
livro de cdigo e como a decodificao feita observando-se exclusivamente os blocos
codificados recebidos. Esta questo est colocada como exerccio proposto no final do
captulo.

NOTA DO PROFESSOR

Em uma primeira anlise, podemos chegar concluso que este algoritmo no compacta nada,
pelo contrrio. Essa uma idia falsa uma vez que a sequncia utilizada muito curta para o
algoritmo reconhecer padres de repetio. Conforme mencionado no livro texto, na prtica,
so utilizados blocos com 12 bits, o que resulta em 4096 posies no livro cdigo. Alm
disso, o algoritmo de Lempel-Ziv reconhece redundncia entre caracteres, o que no ocorre
com o algoritmo de Huffman. Particularmente eficiente para compactao de textos, o
algoritmo de Lempel-Ziv pode atingir uma compactao de 43% contra 55% do algoritmo de
Huffman, para textos em ingls.

1.5. CANAIS DISCRETOS SEM MEMRIA

Um canal discreto sem memria um modelo estatstico com uma entrada X e uma sada Y,
que uma verso ruidosa de X. Tanto os smbolos que entram em X quanto os que saem de Y
so variveis aleatrias. Em outras palavras, um canal que, em cada unidade de tempo,
aceita um smbolo de entrada x
j
, pertencente a um alfabeto X, e em resposta, emite na sada
um smbolo y
k
, de um alfabeto Y. O termo discreto significa que os dois alfabetos possuem
tamanhos finitos e o termo sem memria significa que o smbolo corrente presente na sada
depende apenas do smbolo corrente presente na entrada e de nenhum outro anterior.

Considere a representao mostrada na figura a seguir.

Figura 1.4 - Modelamento do canal discreto sem memria.

Na Figura 1.4 a designao p(y
k
|x
j
) representa o conjunto das probabilidades de transio
p(y
k
|x
j
)

X
Y
{ }
1 1 0
..., , ,
J
x x x X
Alfabeto de entrada
{ }
1 1 0
..., , ,
K
y y y Y
Alfabeto de sada
19

( ) ( )
j k j k
x X y Y P x y p = = = | | para todos j e k.

Note que os alfabetos X e Y no necessariamente tm o mesmo tamanho. Tanto pode ocorrer
X Y como X Y.

Uma forma conveniente de descrever as vrias possibilidades de transio de um canal
discreto sem memria na forma de uma matriz, conforme apresentado a seguir.

( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
(
(
(
(
1 1 1 1 1 0
1 1 1 1 1 0
0 1 0 1 0 0
| | |
| | |
| | |
J K J J
K
K
x y p x y p x y p
x y p x y p x y p
x y p x y p x y p
L
M M M
L
L
P
(1.13)

A matriz P, de dimenses J K, chamada de matriz de canal ou matriz de transio. Note
que cada linha de P corresponde a um smbolo fixo de entrada e cada coluna a um smbolo
fixo de sada. Note tambm que uma propriedade fundamental de P que a soma de todos os
elementos de uma linha da matriz igual a 1, isto :

( )
=
=
1
0
1 |
K
k
j k
x y p para todos os j. (1.14)

A distribuio de probabilidade conjunta das variveis aleatrias x
j
e y
k
dada por:

( ) ( ) ( )
j j k k j
x p x y p y x p | , = (1.15)

A distribuio de probabilidade marginal da varivel aleatria y
k
obtida fazendo:

( ) ( ) ( )
=
=
1
0
|
J
j
j j k k
x p x y p y p
para k = 0, 1, ... , K 1 (1.16)

EXEMPLO 1.4

Um canal de grande interesse terico e prtico o canal binrio simtrico. Este canal um
caso especial do canal discreto sem memria quando J = K = 2. O alfabeto de entrada do
canal possui dois smbolos (x
0
= 0, x
1
= 1) e o de sada tambm dois smbolos (y
0
= 0, y
1
= 1).
O canal simtrico porque a probabilidade de se receber 1 quando um 0 transmitido a
mesma de se receber 0 quando um 1 transmitido. Esta probabilidade condicional
representada por p. O diagrama da probabilidade de transio de um canal simtrico binrio
mostrado na figura a seguir.

20

Figura 1.5 - Canal binrio simtrico sem memria.

Os termos que compem a matriz de probabilidade so:

( )
( )
p p p
x y P p
x y P p
= =
= = =
= = =
01 10
01
10
1 | 0
0 | 1

* * *

1.6. INFORMAO MTUA

Dado que conhecemos a sada do canal (obtida de um alfabeto Y) que uma verso ruidosa da
entrada do canal (obtida de um alfabeto X), e que a entropia H(X) uma medida da incerteza
a priori sobre X, como podemos medir a incerteza sobre X, depois da observao de Y?

A resposta a entropia condicional de X selecionada de um alfabeto X, dado que Y = y
k
,
representada pela notao H(X|Y = y
k
). Especificamente:

= (
(
= =
1
0
2
) | (
1
log ) | ( ) | (
J
j k j
k j k
y x p
y x p y Y H X
. (1.17)

Que uma varivel aleatria e assume valores H(X|Y = y
0
), ... , H(X|Y = y
K-1
) com
probabilidades p(y
0
), ... , p(y
K-1
), respectivamente.

A mdia da entropia H(X|Y = y
k
), sobre o alfabeto de sada Y, representada pela notao
H(X|Y), dada por:

1-p
1-p
p
p
x
0
= 0
x
1
= 1
y
0
= 0
y
1
= 1
21

=
(
(
=
(
(
=
= =
1
0
2
1
0
1
0
2
1
0
1
0
) | (
1
log ) , (
) | (
1
log ) ( ) | (
) ( ) | ( ) | (
J
j k j
k j
K
k
J
j k j
k k j
K
k
K
k
k k
y x p
y x p
y x p
y p y x p
y p y Y H H X Y X
(1.18)

Assim, H(X|Y) que chamada simplesmente de entropia condicional, representa a
quantidade de incerteza restante sobre a entrada do canal depois da sada do canal ter sido
observada. Mas H(X) representa a incerteza sobre a entrada do canal antes da observao
da sada. Consequentemente, a diferena H(X) - H(X|Y) deve representar a incerteza sobre
a entrada do canal que resolvida pela observao de sua sada. Essa diferena chamada
de informao mtua do canal, representada por I(X; Y).

Logo,
) ( ) ( ) (
) ( ) ( ) (
X Y Y X Y
Y | X X Y X
| H H ; I
H H ; I
=
=
(1.19)

Onde H(Y) a entropia da sada do canal e H(Y|X) a entropia da sada do canal, dada
uma entrada de canal. Fazendo as substituies adequadas e algumas manipulaes,
obtm-se:

=
=
(
= =
1
0
2
1
0
) (
) | (
log ) ( ) | ( ) ( ) (
J
j
k
j k
k k j
K
k
y p
x y p
y p y x p ; I ; I X Y Y X
(1.20)

PROPRIEDADES DA IFORMAO MTUA

1. A informao mtua do canal simtrica, isto

) ( ) ( X Y Y X ; I ; I = (1.21)

2. A informao mtua sempre no negativa

0 ) ( Y X; I

3. A informao mtua de um canal est relacionada com a entropia conjunta da entrada do
canal e da sada do canal, por

) , ( ) ( ) ( ) ( X Y Y X Y X H H H ; I + = (1.22)

22
1.7. CAPACIDADE DE CANAL

A Capacidade de canal, de um canal discreto sem memria, a informao mtua mxima,
I(X; Y), em qualquer intervalo de sinalizao, onde a maximizao deve levar em
considerao todas as possveis distribuies de probabilidade da entrada {p(x
j
)} em X.

0 ) ( max
)} ( {
= Y X; I C
j
x p
(1.23)

A capacidade de canal C medida em bits por uso do canal ou bits por transmisso.

Note que a capacidade de canal C depende apenas das probabilidades de transies p(y
k
|x
j
),
que define o canal. O clculo de C envolve a maximizao da informao mtua I(X|Y) sobre
a varivel J [i.e., as probabilidades de entrada p(x
0
), ... , p(x
j-1
)]. Em geral, o problema
variacional da determinao da capacidade de canal C uma tarefa desafiadora.

EXEMPLO 1.5

Considere o canal simtrico binrio apresentado no Exemplo 1.4.

A entropia H(X) maximizada quando os smbolos do alfabeto de entrada so equiprovveis,
i.e., p(x
0
) = p(x
1
) = , onde x
0
= 0 e x
1
= 1. A informao mtua, I(X; Y), similarmente
maximizada, pois
p x y p x y p
p x y p x y p
; I C
= =
= =
=
= =
1 ) | ( ) | (
) | ( ) | (
| ) (
1 1 0 0
0 1 1 0
p(x1) p(x0)
Y X

Conforme j apresentado,

=
=
(
= =
1
0
2
1
0
) (
) | (
log ) ( ) | ( ) ( ) (
J
j k
j k
k k j
K
k
y p
x y p
y p y x p ; I ; I X Y Y X

Logo,
) 1 ( log ) 1 ( log 1
2 2
p p p p C + + =

Usando a funo entropia definida anteriormente (1.4), repetida abaixo por convenincia, i.e.,

( ) ( ) ( ) p p p p p = 1 log 1 log
2 2
H

chega-se finalmente a
) ( 1 p C H = . (1.24)

23

Figura 1.6 - Capacidade de canal de um canal binrio discreto sem memria em funo da
probabilidade de transio.

O resultado apresentado na Figura 1.6 permite concluir que:

1. Quando o canal livre de rudo, ou seja p = 0, a capacidade de canal C assume o seu valor
mximo de um bit por uso do canal.
2. Quando a probabilidade condicional de erro p = devido ao rudo, a capacidade de canal
assume seu menor valor que zero, enquanto a entropia assume seu maior valor que 1
(mxima incerteza). Neste caso o canal dito no utilizvel.

1.8. TEOREMA DA CAPACIDADE DE CANAL

A presena de rudo nos canais de comunicaes digitais inevitvel e rudo provoca erro.
Em canais muito ruidosos a probabilidade de erro pode chegar a 10
-1
o que significa que em
10 bits transmitidos, 9 so recebidos corretamente. Este nvel de confiabilidade inaceitvel
para a maior parte das aplicaes. A probabilidade de erro aceitvel depende da aplicao.
Entretanto, uma probabilidade de erro de 10
-6
ou menor , frequentemente, um requisito
necessrio para a maioria das aplicaes. Para a obteno de altos nveis de desempenho, o
uso de cdigos corretores de erro, ou codificao de canal inevitvel.

O objetivo da codificao de canal aumentar a robustez de um sistema de comunicao
digital na presena de rudo e, basicamente, este processo consiste da insero de
redundncias na sequncia binria por um codificador de canal, antes da transmisso,
conforme apresentado na Figura 1.7. Na recepo, um decodificador de canal verifica a
sequncia recebida e com o auxlio da redundncia introduzida, detecta ou mesmo corrige
automaticamente alguns padres de erro.
0
1
1 0,5
Capacidade de canal
C
p
Probabilidade de transio
24

Figura 1.7 - Diagrama em blocos simplificado de um sistema de comunicao.

A fidelidade entre a sequncia decodificada no receptor e a sequncia originalmente
transmitida influencia na probabilidade de erro final e este resultado depende do cdigo
utilizado e de algumas caractersticas do canal. Como regra geral, quanto maior a
capacidade de correo de erro do cdigo, maior deve ser a quantidade de redundncia
introduzida e maior a complexidade de decodificao. Neste ponto uma questo de extrema
importncia pode ser colocada da seguinte forma:

Ser que existe um esquema de codificao de canal eficiente o suficiente para de tornar a
probabilidade de erro de bit arbitrariamente baixa sem que a quantidade de redundncia
introduzida seja demasiadamente alta?

Segundo Shannon, a resposta um categrico sim, demonstrado por meio do Teorema da
Codificao de Canal.

At aqui a varivel tempo no foi considerada na discusso sobre a capacidade de canal.
Admitindo que uma fonte emita smbolos a cada T
s
segundos e que a entropia da fonte, H(S),
a medida de bits por smbolo transmitido, ento H(S)/T
s
tm a dimenso de bits por
segundo. Por outro lado, C a capacidade de canal em bits por uso do canal. Admitindo ainda
que o canal possa ser utilizado durante T
c
segundos, ento a capacidade de canal dividida pelo
tempo de utilizao tem a dimenso de bits por segundo, que representa a mxima taxa de
transferncia de informao pelo canal.
Fonte discreta
sem memria
Canal discreto
sem memria
Codificador
de canal
Decodificador
de canal
Destino
Transmissor Receptor
Rudo
25

O teorema da codificao de canal considerado o mais importante resultado da teoria da
informao. Ele determina a capacidade de canal C como um limite fundamental sobre a taxa
na qual uma transmisso pode ser realizada, livre de erros, em um canal discreto sem
memria. Entretanto duas observaes so importantes:

1. O teorema no mostra como construir bons cdigos. Ele deve ser interpretado no
sentido de uma prova de existncia, i. e., desde que a limitao imposta pelo teorema
seja satisfeita, ento a existncia do cdigo possvel.
2. O teorema no apresenta um resultado preciso para a probabilidade de erro depois da
decodificao de canal. Ele indica que a probabilidade de erro tende para zero
conforme o comprimento do cdigo aumenta, mais uma vez, desde que a limitao
imposta pelo teorema seja satisfeita.
SEGUDO TEOREMA DE SHAO

TEOREMA DA CODIFICAO DE CAAL

Suponha uma fonte discreta sem memria com alfabeto S e entropia H(S) bits por
smbolo de fonte que produz um smbolo a cada T
s
segundos. Seja um canal discreto sem
memria que tem uma capacidade de C bits por uso do canal e usado a cada T
c

segundos. Ento se

c s
T
C
T
H
) (S
(1.25)

deve existir um esquema de codificao de tal forma que a sada da fonte pode ser
transmitida pelo canal com uma taxa de erros arbitrariamente baixa.

O parmetro C/T
c
chamado de taxa crtica. Quando a igualdade obtida diz-se que o
sistema est transmitindo na taxa crtica. Inversamente, se

c s
T
C
T
H
>
) (S

no possvel transmitir informao pelo canal com taxa arbitrariamente baixa.
26

APLICAO DO TEOREMA DA CODIFICAO DE CAAL EM CAAIS SIMTRICOS
BIRIOS

Considere uma fonte discreta sem memria que emite smbolos 0s e 1s, com probabilidades
iguais, a cada T
s
segundos. Considere tambm que a entropia da fonte igual a um bit por
smbolo de fonte e, portanto, a fonte emite informao a uma taxa de 1/T
s
bits por segundo.
Considere ainda a existncia de um codificador de canal cujo cdigo possui uma taxa de
codificao r, sendo r definido como:
n
k
r =
,

onde k o nmero de bits de informao e n o nmero de bits da sequncia ou do bloco
codificado. Admita que o codificador de canal produza um smbolo a cada T
c
segundos e,
consequentemente, a taxa de transmisso de smbolos 1/T
c
smbolos por segundo. Desta
forma, o codificador de canal ocupa um canal simtrico binrio a cada T
c
segundos. Portanto,
a capacidade do canal por unidade de tempo C/T
c
bits por segundo. De acordo com o
teorema da codificao de canal, se
c s
T
C
T

1
(1.26)

a probabilidade de erro pode ser arbitrariamente baixa se usado um esquema de codificao
de canal adequado.

Como
s
c
T
T
r =
ento
C r .

Ou seja, para r < C, deve existir um cdigo capaz de permitir uma transmisso com taxa de
erro to baixa quanto se queira. Para que este conceito fique claro, veja o Exemplo 1.

Para que o significado do teorema da codificao de canal, aplicada a um canal binrio
simtrico fique clara, veja o exemplo a seguir.

EXEMPLO 1.6

Seja um canal binrio simtrico cuja entrada equiprovvel e a probabilidade de transio do
canal (probabilidade de erro) igual a 0,1. Qual deve ser o maior nmero de bits de
informao para cada bloco de 7 bits de forma ser possvel, teoricamente, a obteno de uma
taxa de erro arbitrariamente baixa ?

27
SOLUO:

Do Exemplo 1.5, tem-se
) ( 1 p C H =

( ) ( ) ( ) p p p p p = 1 log 1 log
2 2
H
Como p = 0,1

531 , 0
2 log
9 , 0 log
9 , 0
2 log
1 , 0 log
1 , 0 1
=
|
|
\
|
=
C
C

Conforme apresentado

nC k
C
n
k
r
=

Como n = 7

3
72 , 3 531 , 0 7
=
= = =
k
nC k

* * *

1.9. ENTROPIA DIFERENCIAL E INFORMAO MTUA PARA CONJUNTOS
CONTNUOS

At o momento as fontes e os canais considerados foram de conjuntos de variveis que so
discretas em amplitude. Alguns dos conceitos apresentados sero estendidos para conjunto
contnuos de forma a permitir estabelecer outro limite fundamental da teoria da informao
que o Terceiro Teorema de Shannon ou Teorema da Capacidade de Informao.

Considere uma varivel aleatria contnua X com funo densidade de probabilidade f
X
(x).
Por analogia com a entropia para variveis discretas pode-se escrever que

dx
x f
x f X h
(

) (
1
log ) ( ) (
x
2 x
, (1.27)

onde h(X) a entropia diferencial de X. Se n variveis aleatrias contnuas formam um vetor
aleatrio contnuo X, ento utilizando a mesma analogia, pode-se definir a entropia
diferencial de X, como

x
x
x X d
f
f h
(

) (
1
log ) ( ) (
x
2 x
, (1.28)

onde f
X
(x) a funo densidade de probabilidade conjunta de X.
28
Considere agora um par de variveis aleatrias contnuas X e Y. Mais uma vez, por analogia
ao que foi definida para variveis discretas, a informao mtua torna-se

dy dx
x f
y x f
y x f Y X I
X
(

) (
) | (
log ) , ( ) ; (
x
2 Y X,
(1.29)

onde f
X,Y
(x,y) a funo densidade de probabilidade conjunta de X e Y, e f
X
(x|y) a funo
densidade de probabilidade condicional de X, dado que Y = y.

Tambm por analogia, as seguintes propriedades para a informao mtua so vlidas:

) | ( ) ( ) | ( ) ( ) ; ( . 3
0 ) ; ( . 2
) ; ( ) ; ( . 1
X Y h Y h Y X h X h Y X I
Y X I
X Y I Y X I
= =
=

onde h(X) a entropia diferencial de X e h(X|Y) a entropia diferencial condicional de X dado
Y, que, ainda por analogia, definida como

dy dx
y x f
y x f Y X h
(

) | (
1
log ) , ( ) | (
x
2 Y X,
. (1.30)

O parmetro h(Y|X) a entropia diferencial condicional de Y dado X e definido de maneira
similar a h(X|Y).

1.10. TEOREMA DA CAPACIDADE DE INFORMAO

A formulao do Teorema da Capacidade de Informao para canais limitados em faixa e
potncia utiliza a idia de informao mtua. Para isso, considere um processo estacionrio
X(t) com mdia zero e limitado em uma faixa de B hertz. Seja X
k
, k = 1, 2, ... , K variveis
aleatrias contnuas obtidas por amostragem uniforme de X(t) uma taxa de Nyquist de 2B
por segundo. Estas amostras so transmitidas em T segundos em um canal ruidoso, tambm
limitado em faixa de B hertz. Ento o nmero de amostras, K, dado por

BT K 2 = ,

onde X
k
uma amostra do sinal transmitido em um canal perturbado com rudo Gaussiano
branco aditivo (AWGN) de mdia zero e densidade espectral de potncia
0
/2. As amostras
do sinal recebido so representadas pelas variveis aleatrias contnuas Y
k
, k = 1, 2, ... , K,
estatisticamente independentes, de forma que

K k X Y
k k k
, , 2 , 1 K = + = ,

onde
k
representa a amostras de rudo Gaussiano com mdia zero e densidade espectral de
potncia dado por
29

B
0
2
= . (1.31)

O canal descrito pelas duas ltimas equaes chamado de canal Gaussiano sem memria,
discreto no tempo e modelado conforme mostrado na figura a seguir.

Figura 1.8 - Modelagem do canal gaussiano sem memria discreto no tempo.

Como a transmisso , tipicamente, limitada em potncia, ento a potncia mdia transmitida
pode ser definida como
K k X E P
k
, , 2 , 1 ] [
2
K = =

A capacidade de informao do canal definida como a mxima informao mtua entre a
entrada X
k
que satisfaz a limitao de potncia apresentada acima, ou seja,

} ] [ : ) ; ( { max
2
) (
P X E Y X I C
k k k
x f
k
X
= = , (1.32)

onde a maximizao feita com relao a f
Xk
(x). Por convenincia a informao mtua I(X
k
;
Y
k
) pode ser escrita como
) | ( ) ( ) ; (
k k k k k
X Y h Y h Y X I =

Uma vez que X
k
e
k
so variveis aleatrias independentes e sua soma igual a Y
k
a entropia
diferencial condicional de Y
k
, dado X
k
, igual a entropia diferencial de
k
, conforme mostrado
a seguir.
) | ( ) (
k k k
X Y h h =
Consequentemente,
) ( ) ( ) ; (
k k k k
h Y h Y X I = .

A maximizao da informao mtua requer a maximizao de h(Y
k
). A varincia da amostra
Y
k
(P +
2
). Logo, Y
k
tambm uma varivel aleatria gaussiana, consequentemente, sua
entropia diferencial mxima
)] ( 2 [ log
2
1
) (
2
2
+ = P e Y h
k

e a entropia diferencial de
k

k

X
k
Y
k

30
) 2 ( log
2
1
) (
2
2
e h
k
=

Substituindo as duas entropias diferenciais apresentadas acima na expresso da informao
mtua, obtm-se:
|
\
|
+ =
2 2
1 log
2
1
P
C bits por transmisso (1.33)

Com o canal sendo usado K vezes para a transmisso de K amostras em T segundos, ento a
capacidade de informao por unidade de tempo obtida multiplicando-se a equao
apresentada acima por K/T. Como K = 2BT e
2
=
0
B, ento a capacidade de canal por
unidade de tempo torna-se:
|
|
\
|
+ =
B
P
B C
0
2
1 log bits por segundo. (1.34)

Assim o terceiro e mais famoso teorema de Shannon pode ser enunciado da forma como
apresentado a seguir.

O Teorema da Capacidade de Informao um dos mais notveis resultados da Teoria da
Informao onde, em uma nica expresso, destacada a interao entre a largura de faixa do
canal e a relao sinal/rudo. Note que a capacidade do canal varia linearmente com a largura
de faixa e logaritmicamente com a relao sinal rudo. Desta forma, mais fcil aumentar a
capacidade do canal aumentando a sua largura de faixa do que aumentando a relao sinal
rudo.

O teorema implica que, para uma dada relao sinal/rudo, possvel transmitir a uma taxa de
C bits por segundo com probabilidade de erro arbitrariamente baixa empregando um esquema
de codificao de canal suficientemente complexo. Por outro lado, no possvel transmitir a
uma taxa maior do que C bits por segundo com qualquer esquema de codificao sem uma
probabilidade de erro definida. Assim, o Teorema da Capacidade de Canal define um limite
fundamental para a taxa de transmisso livre de erros para um canal gaussiano com uma dada
relao sinal/rudo e largura de faixa limitada. Para alcanar este limite, no entanto, o sinal
deve ter propriedades estatsticas semelhantes a do rudo gaussiano.
TERCEIRO TEOREMA DE SHAO

TEOREMA DA CAPACIDADE DE IFORMAO OU TEOREMA DA CAPACIDADE DE CAAL

A capacidade de informao de um canal contnuo com largura de faixa de B hertz,
perturbado por ruido Gaussiano branco aditivo de densidade espectral
0
/2, dada por

|
|
\
|
+ =
B
P
B C
0
2
1 log ,

dada em bits por segundo, onde P a potncia mdia do sinal transmitido.
31
Veja o exemplo de aplicao apresentado a seguir.

EXEMPLO 1.7

Seja um canal AWGN limitado em faixa (B = 3,4 kHz) e uma potncia de recepo (sada do
canal) igual a 1pW. Determine a capacidade do canal, considerando que o mesmo est
submetido a uma temperatura equivalente de rudo igual a 290 K. Determine tambm a
relao sinal-rudo em dB.

SOLUO:
( (( ( ) )) )
3
3 23
12
2 2
0
2
10 49 , 73
10 4 , 3 290 10 38 , 1
10 1
1 log 1 log 1 log
= == =

= == = = == =
+ ++ + = == = | || |

| || |

\ \\ \
| || |
+ ++ + = == =
| || |
| || |

| || |

\ \\ \
| || |
+ ++ + = == =

kTB
P
S
B
kTB
P
B
B
P
B C

( (( ( ) )) )
( (( ( ) )) )
( (( ( ) )) ) dB
S
C
C
dB
dB
66 , 48
10 49 , 73 log 10
kbit/s 96 , 54
2 log
10 49 , 73 1 log
10 4 , 3
3
3
3
= == =
= == =
= == =
+ ++ +
= == =

CONCLUSO:

Deve haver um esquema de codificao de canal, suficientemente complexo, que permita a
transmisso a uma taxa de 55 kbit/s em um canal com 3,4 kHz de largura de faixa para uma
relao sinal/rudo de 49 dB, com uma taxa de erros de bit arbitrariamente baixa.

* * *

1.11. IMPLICAES DO TEOREMA DA CAPACIDADE DE INFORMAO

Para analisar as implicaes do Teorema da Capacidade de informao, admita a existncia de
um sistema ideal definido como sendo aquele que transmite a uma taxa R
b
igual capacidade
de canal C. Desta forma, a potncia mdia do sinal pode ser escrita como

C E P
b
= == = ,

onde E
b
a energia transmitida por bit. Assim (1.34) pode ser reescrita como
32
| || |
| || |

| || |

\ \\ \
| || |
+ ++ + = == =
B
C
E
B
C
b
0
2
1 log .

Equivalentemente, a relao entre a energia por bit e a densidade espectral de rudo E
b
/
0
em
termos de C/B para o sistema ideal

B
C
E
B
C
b
1 2
0

= == = .

Com a expresso acima possvel traar a curva que estabelece a relao entre a eficincia de
largura de faixa R
b
/B e a relao E
b
/
0
, que chamado de diagrama da eficincia de largura
de faixa. A forma genrica deste diagrama mostrada na Figura 1.9, onde a curva intitulada
"limite da capacidade" corresponde ao sistema ideal no qual R
b
= C.

Figura 1.9 - Eficincia Largura de Faixa para R
b
= C.
0 10 20 30
0.1
1
10
100
Eficincia de BW (R
b
/B)
E
b
/
0
em dB
Regio para a qual
R
b
>C
Regio para a qual
Rb<C
Limite da
capacidade
R
b
=C
33

O limite representado por uma fronteira entre a regio em que possvel uma transmisso
livre de erros (R
b
< C) e a regio em que isso no possvel (R
b
> C) em um plano da
eficincia de largura de faixa em funo da relao entre a energia de bit e a densidade
espectral de rudo, conforme apresentado a seguir.

1.12. TEORIA DA DISTORO-TAXA

Conforme apresentado anteriormente, para se obter uma codificao de uma fonte discreta
sem memria que permita a transmisso e recuperao da informao sem imperfeies, o
Teorema da Codificao de Fonte no pode ser violado. Em outras palavras, isso significa que
o comprimento mdio do cdigo de fonte no pode ser menor do que a entropia da fonte.
Entretanto, em muitas aplicaes prticas existem restries que introduzem imperfeies na
codificao, o que resulta em inevitveis distores.

Um exemplo disso so as fontes de sinais contnuos, como por exemplo, o sinal de voz. Neste
caso, os sistemas de comunicao geralmente impem restries quanto ao comprimento das
palavras cdigos, acarretando na limitao do nmero de nveis de quantizao do sinal.
Assim, a aproximao de um sinal contnuo para um nmero reduzido de nveis discretos
produz erros de quantizao severos cuja consequncia a degradao da qualidade do sinal
por meio da introduo, no sinal transmitido, de um rudo de quantizao com amplitude
significativa.

Neste caso, o problema definido como codificao de fonte com um critrio de fidelidade. A
teoria da distoro-taxa encontra aplicaes em dois tipos de situao:

1. Codificao de fonte onde o alfabeto de codificao permitido no pode representar
exatamente a informao da fonte, caso no qual forosa uma compresso de dados
com perdas.
2. Transmisso de informao uma taxa maior do que a capacidade do canal.

Se vista de forma adequada, a teoria da distoro-taxa pode ser vista como uma extenso
natural dos teoremas de codificao de Shannon. Para maiores detalhes sobre este assunto
veja Seo 9.13, Captulo 9 do livro Communication System, Simon Haykin.

34

1.13. COMPRESSO DE DADOS

A teoria da distoro-taxa permite considerar a idia da compresso de dados, que envolve
uma reduo proposital no contedo da informao de uma fonte contnua ou discreta.
Especificamente, pode-se imaginar um compressor de dados, ou um compressor de sinais,
como um dispositivo que alimenta um cdigo que produz o mnimo de bits necessrios para
representar a sada da fonte com uma distoro aceitvel ou permissvel. Assim, o compressor
de dados retm o contedo essencial de informao da sada da fonte descartando finos
detalhes de maneira controlada. Desta forma, a compresso de dados uma operao com
perdas no sentido de que a entropia da fonte reduzida (i.e., h perda de informao)
independentemente do tipo de fonte considerada.

No caso de uma fonte discreta, a razo para o uso da compresso de dados codificar a sada
da fonte uma taxa menor do que a entropia da fonte. Consequentemente, a entropia da fonte
violada, o que significa que a reproduo exata do que a fonte produziu impossvel.

No caso de uma fonte contnua, a entropia da fonte infinita. Entretanto, na prtica
necessrio que os nveis de quantizao sejam finitos e, consequentemente, o codificador de
fonte produzir codificao uma taxa finita. Assim, no possvel codificar um sinal
contnuo com um nmero finito de bits sem produzir distores.

1.14. EXERCCIOS

1. O alfabeto de uma fonte discreta sem memria composto por 5 smbolos. Os smbolos
emitidos pela fonte devem ser codificados por meio de um cdigo prefixo a partir do
histograma da frequncia de emisso apresentado abaixo. O nmero total de smbolos do
histograma foi emitido em 1 ms.

Smbolos
S
0
S
1
S
2
S
3
S
4

N
o
de smbolos
400
350
300
250
200
150
100
50

35
Pede-se:

a) A entropia da fonte.
b) As palavras cdigos de um cdigo prefixo para esta fonte.
c) A eficincia de codificao.
d) Determine qual a taxa de bit na sada do codificador de fonte.

2. O alfabeto de uma fonte discreta sem memria (S) possui 3 smbolos. As probabilidades de
emisso dos smbolos S
0
, S
1
e

S
2
so respectivamente 0,55; 0,35 e 0,1. Pede-se:

a) Criar um cdigo prefixo para a fonte S.
b) Criar um cdigo prefixo para a fonte estendida S
2
.
c) Comparar as eficincias de codificao para os dois cdigos e comentar o resultado.

3. Considere um codificador de Lempel-Ziv com 8 posies de memria (de 0 a 7) que parte
com o bit 0 armazenado na posio de memria 000 e o bit 1 na posio de memria 001.
Codifique a sequncia mensagem 11101001100010110100...

4. Considere um decodificador de Lempel-Ziv com 8 posies de memria (de 0 a 7) que
parte com o bit 0 armazenado na posio de memria 000 e o bit 1 na posio de memria
001. Reconstrua a sequncia mensagem a partir dos blocos codificados 0011 0001 0000
0100 0110 1000 1101 0000 0010...

5. Uma fonte discreta sem memria emite smbolos que so estatisticamente independentes.
Admita que esses smbolos sejam codificados com um cdigo prefixo casado com a fonte,
resultando nas seguintes palavras cdigos: S
0
= 0001; S
1
= 011; S
2
= 0011; S
3
= 10; S
4
=
0010; S
5
= 010; S
6
= 0000; S
7
= 11. Determine a entropia desta fonte.

6. Um terminal remoto deve enviar smbolos alfanumricos para um computador uma taxa
de 1 milho de smbolos por segundo por meio de um canal cuja relao sinal/rudo igual
a 20 dB. Admita que o terminal possua 256 smbolos diferentes e que a transmisso destes
smbolos seja equiprovvel e estatisticamente independente. Determine a largura de faixa
mnima do canal, luz do teorema da capacidade de informao, de modo que essa
transmisso possa ser teoricamente realizvel.

7. Considere que o alfabeto de uma fonte possui 64 smbolos com iguais probabilidades de
ocorrncia. Admita que tais smbolos sejam convertidos em palavras binrias para que
sejam transmitidos em um canal AWGN cuja largura de faixa igual a 10
6
Hz. Determine
qual deve ser a menor relao sinal rudo terica, em dB, para que a transmisso de 10
6

smbolos

por segundo possa ser realizada com taxa de erro arbitrariamente baixa.

* * *

36
1.15. REFERNCIA BIBLIOGRFICA

[1] HAYKIN, S. - Communications Systems. 4
th
Ed. John Wiley & Sons. 2000.

Material Teoria Da Informação

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Material Teoria Da Informação

Caricato da

Copyright:

Formati disponibili

1_TeoInfo_V2011 - Geraldo Gil R.

Potrebbero piacerti anche