Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
21.09.2009
Fonte Adjunta
{ }
Seja S = s1 , s 2 ,..., s k ,..., s q o alfabeto de uma fonte de Markov de ordem m,
e seja P1 , P2 ,..., Pq , as probabilidades de 1ª. 1ª ordem dos símbolos da fonte.
fonte A
fonte adjunta de S , designada de S , é a fonte sem memória com alfabeto fonte
idêntico ao de S e com probabilidades dos símbolos dada por
P1 , P2 ,..., Pq .
Em que,
p (s1 ) = P1 , p (s 2 ) = P2 ,..., p (s k ) = Pk ,...., p (s q ) = Pq .
Exemplo: Considere uma fonte de Markov de 2 2ª. Ordem com alfabeto binário S
= {0, 1} e com as seguintes probabilidades condicionais:
p (0 00 ) = p (111 ) = 0 ,8
p ( 00 ) p (11 )
⎧} }
⎪⎪ Π 00 = Π 11 = 5
p (1 00 ) = p (0 11 ) = 0 , 2 ⇒⎨ 14
⎪Π 01 = Π 10 =
2
p (0 01 ) = p (0 10 ) = p (1 01 ) = p (110 ) = 0 ,5 { { 14
⎪⎩ p (01 ) p (10 )
U
Usando
d a propriedade
i d d da
d probabilidade
b bilid d total:
t t l
⇒ p (0 ) =
5 2 2 5 1
= 0 ,8 + 0 ,5 + 0 ,5 + 0,2
14 14 14 14 2
p (1) = 1 − p (0 ) =
1
2
Portanto, a fonte adjunta para o exemplo é a fonte binária sem memória com
símbolos equiprováveis e
()
H S = 1 bit/binit
Teoria da Informação – Prof. Márcio Lima 3
Fonte Adjunta
OBS:
1 A adjunta de uma fonte sem memória é ela mesma;
1.
2. Para uma fonte de Markov de 1ª. ordem:
Conjunto de Estados da Fonte = Conjunto de Símbolos da Fonte
Distribuição de Estados da Fonte = Probabilidades de 1
1ª. ordem dos
símbolos.
P1 = p (s1 ) = Π s1
s1 s2
P2 = p (s 2 ) = Π s 2
P3 = p (s 3 ) = Π s 3
s3
∑ ∑ p (s , s i )log
Pi P j
p (s j , s i )
j
i j
p (s j , s i ) = Pi P j , ∀ i,
i j
Teoria da Informação – Prof. Márcio Lima 6
Fonte Adjunta
∑ ∑ p (s , s i )log
Pi P j
≤0
p (s i s j ) p (s j )
j
i j
p (s j , s i )log p (s j , s i )log
Pi P j Pi
∑∑
i j p (s i s j )P j
= ∑∑
i j p (s i s j )
≤0
Contudo tem
Contudo, tem-se
se
Pi 1
= log + log Pi
p (s i s j ) p (s i s j )
log
logo
∑i ∑j ( ) 1
≤ ∑∑ p (s j , s i )log
1
p (s i s j )
p s j , s i log
i j Pi
1 4 4 4 42 4 4 4 43
H (S )
≤ ∑i i
p (s ) log
1
P
1 442 4 4 3i
H (S )
Logo, tem-se
()
H (S ) ≤ H S , iguadade sse p (s j ,ss i ) = P j Pi
Ou seja, se a fonte é estatisticamente independente, S é uma fonte sem
memória.
Desafio: