Sei sulla pagina 1di 12

Universidade de Pernambuco

Escola Politécnica de Pernambuco


Teoria da Informação
Fonte Binária Sem Memória
Prof. Márcio Lima
E-mail
mail:marcio.lima@upe.poli.br
:marcio.lima@upe.poli.br

21.09.2009
Fonte Binária Sem Memória
Considere uma fonte binária para a qual o símbolo 0 ocorre com probabilidade
p0 = p e o símbolo 1 com probabilidade p1 = 1 – p0 = p.
p Além disso,
disso a fonte não
possui memória (sucessivos símbolos emitidos pela fonte são estatisticamente
independentes).

S = {0 , 1} p 0 = p e p1 = 1 − p 0 = 1 − p = p , 0 ≤ p ≤ 1

∴ H (S ) = p log + p log = − p log p − (1 − p ) log (1 − p ) bits


1 1
p p
OBS:
u
u=z u = z −1

u = ln z 1
1 lim p log = 0
z p→0 p
−1

Teoria da Informação – Prof. Márcio Lima 2


Fonte Binária Sem Memória
Função Entropia

∴ H ( p ) = p log + (1 − p ) log
1 1
p (1 − p )

OBS:

1 H(S) – fornece a entropia de uma


H (p) fonte discreta sem memória com
alfabeto da fonte S.
H(p) – função da probabilidade p0
= p definida no intervalo [0, 1].

0 0 ,5 1 p

Teoria da Informação – Prof. Márcio Lima 3


Fonte Binária Sem Memória 1
H (p )

1. Se p = 0 ou p = 1,, casos em q
que a saída da fonte
é constante, então H(p) = 0 e a fonte não produz
informação nenhuma. 0 0 ,5 1 p

2 A máxima
2. á i entropia
t i (máximo
( á i valor
l médio édi de d quantidade
tid d ded informação)
i f ã )
produzida por uma fonte binária vale log 2 = 1 bit e ocorre se, e somente se,
os dígitos 0 e 1 forem equiprováveis.
3 OBS:
3.
ƒ Saída de uma fonte binária: Dígitos binários (“binits”);
ƒ Saquência de “binits” de uma fonte binária sem memória com símbolos
equiprováveis fornece 1 bit de informação por “binit” binit .
ƒ Se os 0’s e 1’s não forem equiprováveis: A quantidade de informação
obtida em “binits” pode ser menor ou maior do que 1, dependendo da
probabilidade do binit,
⎛ 1 ⎞
I (s i ) = log ⎜⎜ ⎟⎟.
⎝ p (s i ) ⎠
Porém,, a q quantidade média ((entropia) p ) de informação ç fornecida p
pro um
“binit”será menor ou igual a 1 bit/binit.
Teoria da Informação – Prof. Márcio Lima 4
Fonte Binária Sem Memória 1
H (p )

4. Máxima entropia de uma fonte discreta sem


memória com q símbolos vale log q. Sendo assim, 0 p
0 ,5 1
este valor cresce lentamente com a quantidade de
símbolos.
í b l

2 log q ⎯
⎯→ Fonte com q 2 símbolos

E se em vez ded aumentart a quantidade


tid d ded símbolos
í b l da
d fonte,
f t considerarmos
id
blocos de símbolos. Cada bloco consistiria de n símblos-fonte sucessivos,
dessa forma, cada bloco seria visualizado como algo produzido por uma
estendida com um alfabeto Sn que possui blocos distinto (q - número
fonte estendida,
de símbolos distintos do alfabeto original).

Teoria da Informação – Prof. Márcio Lima 5


Fonte Binária Sem Memória
Extensão de uma Fonte Discreta sem Memória
Seja S uma fonte sem memória com alfabeto
S = {s1 , s 2 ,..., s k ,..., s q }
⇒ p (s1 ) = p1 , p (s 2 ) = p 2 ,..., p (s k ) = p k ,...., p (s q ) = p q
q

∑ p (s ) = 1,
k =1
k i = 1,..., q

A extensão n de S, Sn, é uma fonte (estendida) sem memória com qn símbolos

{σ , σ
1 2 ,..., σ q n }
Cada σi corresponde
p a uma sequência
q de n símbolos si. A p
probabilidade de
ocorrência da sequência σi é dada por P(σi) , ou seja, se

σ i = (s i , s i ,..., s i
1 2 n
) ( ) ( )
⇒ P (σ i ) = P s i1 ⋅ P s i2 ⋅ ... ⋅ P s in . ( )
Teoria da Informação – Prof. Márcio Lima 6
Fonte Binária Sem Memória
Extensão de uma Fonte Discreta sem Memória
Exemplo: Considere S = {s1 , s 2 , s 3 }, q = 3 , com
p (s1 ) = p1 , p (s 2 ) = p 2 , p (s 3 ) = p 3
q =3

∑ p (s ) = 1,
k =1
k i = 1,..., q

Logo Extensão de Segunda Ordem da fonte S

S 2
= {s1 s1 , s 1 s 2 , s 1 s 3 , s 2 s1 , s 2 s 2 , s 2 s 3 , s 3 s1 , s 3 s 2 , s 3 s 3 }
σi : σ1 σ2 σ3 σ4 σ5 σ6 σ7 σ8 σ 9 (q n = 32 = 9)
p (σ i ) : p12 p1 p 2 p1 p 2 p 2 p1 p 22 p 2 p 3 p 3 p1 p 3 p 2 p 32

Teoria da Informação – Prof. Márcio Lima 7


Fonte Binária Sem Memória
Extensão de uma Fonte Discreta sem Memória
Assim,
qn
( ) = ∑ P (σ )log
H S n
l
P (σ )
= ∑ P (σ ) log
i l
1
P (σ )
i
1
i =1 i S n
i

Indica a soma sobre todos os qn símbolos


da fonte Sn.

Essa soma é equivalente a n somas, cada uma sobre os q símbolos da fonte S.


g , tem-se
Logo,

∑ P (σ ) = ∑ P (s )⋅ P (s )⋅ ... ⋅ P (s ) = P P
i i1 i2 in i1 i2 ... Pin
Sn Sn
q q q q q q
= ∑ ∑ ... ∑ P P
i1 i2 in
i1 i2 ... Pin = ∑ P ∑ P ... ∑ P
i1 i2 in
i1 i2 in =1
1 23 1 23 1 23
1 1 1

Teoria da Informação – Prof. Márcio Lima 8


Fonte Binária Sem Memória
Extensão de uma Fonte Discreta sem Memória
Logo tem-se, 1 1 1 1
n log = log + log + L + log
( ) ∑ P (σ )log P P 1... P
q Pi1 Pi2 ... Pin Pi1 Pi2 Pin
H Sn = i
i =1 i1 i2 in

P (σ i ) log + ∑ P (σ i ) log + ... + ∑ P (σ i ) log


1 1 1
= ∑ og
Pi1
og
Pi2
og
Pin
Sn Sn Sn
Se for levado em consideração apenas o Primeiro termo das somas, pode-se ter

P (σ i ) log ∑( )
1 1
∑ Pi1
= Pi1 Pi2 L Pin log
Pi1
Sn Sn
q
1 q q q
= H (S )
1
∑ i =1
Pi1 log ⋅ ∑ Pi2 L ∑ Pin =
Pi1 1i =1 i =1
∑i =1
Pi1 log
Pi1
23 1 23
1 1

Teoria da Informação – Prof. Márcio Lima 9


Fonte Binária Sem Memória
Extensão de uma Fonte Discreta sem Memória
Ou seja,

q
P (σ i ) log = H (S ),
1

i =1 Pi j
j = 1, 2, ..., n.

Portanto, tem-se que

( )
H S n = n ∑ P (σ i ) log
1
Pi j
= nH (S ), j = 1, 2, ..., n.
Sn

Teoria da Informação – Prof. Márcio Lima 10


Fonte Binária Sem Memória
Extensão de uma Fonte Discreta sem Memória
Exemplo: Considere S = {s1 , s 2 , s 3 }, q = 3 , com

p (s1 ) = , p (s 2 ) = p (s 3 ) = .
1 1
2 4
Calcule a entropia da fonte estendida de segunda ordem (S2).

H (S ) =
Sabe-se 1 1 1 3
log 2 + log 4 + log 4 = bits/simb.
2 4 4 2
Logo, estendendo para S2, tem-se:
S 2
= {s1 s1 , s 1 s 2 , s 1 s 3 , s 2 s1 , s 2 s 2 , s 2 s 3 , s 3 s1 , s 3 s 2 , s 3 s 3 }
σi : σ1 σ2 σ3 σ4 σ5 σ6 σ7 σ8 σ 9 (q n = 32 = 9)

p (σ i ) :
1 1 1 1 1 1 1 1 1
4 8 8 8 16 16 8 16 16
Teoria da Informação – Prof. Márcio Lima 11
Fonte Binária Sem Memória
Extensão de uma Fonte Discreta sem Memória
Exemplo:
∴H S( ) = ∑ P (σ )log P (σ )
2

2
i
1
S i

1 1 1
= log 4 + 4 ⋅ log 8 + 4 ⋅ log 16
4 8 16
= 3 bits/simb.

Ou seja,

( )
∴ H S 2 = n ⋅ H (S ) = 2 ⋅
3
2
= 3 bits/simb.

Teoria da Informação – Prof. Márcio Lima 12