Sei sulla pagina 1di 46

Appunti di Teoria dellinformazione

di Vincenzo Russo (vincenzo.russo@neminis.org)


Indice
1. Elementi di Algebra 4
2. Teoria dei semigruppi 5
3. Semigruppi e monoidi liberi 8
4. Teoria dei Codici 16
5. Teoria dellinformazione 31
Bibliograa 46
3
1. ELEMENTI DI ALGEBRA 4
1. Elementi di Algebra
In questa sezione verrano presentati richiami basilari di algebra, come il con-
cetto di relazione e il concetto di morsmo.
1.1. Relazioni.
Definition 1.1. Una corrispondenza R dellinsieme A nellinsieme B un
qualunque sottoinsieme del prodotto cartesiano AB.
Definition 1.2. Una relazione R sullinsieme A una corrispondenza di A in
A, ovvero un qualunque sottoinsieme di AA. Dati x, y A, se x nella relazione
R con y scriveremo xRy.
Una relazione R pu essere:
riessiva, se a A, aRa
simmetrica, se a, b A, aRb = bRa
antisimmetrica, se a, b A, aRb bRa = a = b
transitiva, se a, b, c A, aRb bRc = aRc
Definition 1.3. Una relazione che sia al contempo riessiva, simmetrica e
transitiva detta relazione di equivalenza.
Definition 1.4. Una realzione che sia al contempo riessiva, antisimmetrica
e transitiva invece un ordinamento parziale.
1.2. Omomorsmi. Un omomorsmo (o morsmo) unapplicazione tra
due strutture algebriche dello stesso tipo che conserva le operazioni denite su di
esse.
Nel seguito di questo paragrafo considereremo come struttura algebrica desem-
pio, un reticolo.
Definition 1.5. Un reticolo (L, , ) un insieme L con due operazioni binarie
denite su di esso: loperazione di intersezione () e loperazione di unione ()
Definition 1.6. Siano L e M due reticoli. Unapplicazione f : L M un
omomorsmo se
f(x y) = f(x) f(y)
f(x y) = f(x) f(y)
Se lomomorsmo iniettivo, si chiama monomorsmo; se invece suriettivo al-
lora viene detto epimorsmo. Se biettivo, lomomorsmo detto isomorsmo.
Se L = M allora parliamo di endomorsmo. Se lendomorsmo biettivo, allora
chiamato automorsmo.
Se c un isomorsmo da L in M, diremo che L e M sono isomor, o anche che
L isomorfo a M e scriveremo L

= M.
In generale, un morsmo da una struttura A a una struttura B ci fornisce una
rappresentazione di A attraverso gli elementi di B.
2. TEORIA DEI SEMIGRUPPI 5
2. Teoria dei semigruppi
Definition 2.1. Un semigruppo un insieme con unoperazione binaria as-
sociativa denita su di esso. Dato linsieme S e loperazione , scriveremo (S, ) per
indicare il semigruppo con S come insieme e come operazione binaria associativa.
E usuale indicare il semigruppo anche utilizzando soltanto la lettera dellinsieme,
laddove loperazione sia chiara dal contesto o non rilevante.
Definition 2.2. Un semigruppo (S, ) detto semigruppo commutativo se
s, t S, s t = t s.
Definition 2.3. Sia (S, ) un semigruppo e sia s S. Allora
(1) s chiamato elemento neutro (o zero) di (S, ) se x s = s x = s,
x S
(2) s chiamato elemento identit di (S, ) se x s = s x = x, x S
(3) s chiamato idempotente s s = s
Non tutti i semigruppi hanno lo zero o lidentit; ad ogni modo nessun semigruppo
pu avere pi di uno zero o pi di unidentit (ovvero, se lidentit e/o lelemento
neutro esistono, sono unici).
Definition 2.4. Un monoide un semigruppo provvisto dellelemento iden-
tit.
Definition 2.5. Se (M, ) un monoide e x M, x detto invertibile se
esiste un y M tale che x y e y x sono uguali allidentit. Lelemento y detto
inverso di x e in genere si indica con y = x
1
oppure y = x.
Definition 2.6. Un gruppo un monoide in cui tutti gli elementi sono
invertibili.
Definition 2.7. Un semigruppo S si dice cancellativo a sinistra se s, t
1
, t
2

S, s t
1
= s t
2
= t
1
= t
2
Definition 2.8. Un semigruppo S si dice cancellativo a destra se s, t
1
, t
2

S, t
1
s = t
2
s = t
1
= t
2
Definition 2.9. Sia (S, ) un semigruppo. Sia T S. Se T chiuso rispetto
alloperazione di S, ovvero:
t
1
, t
2
T = t
1
t
2
T
allora (T, ) sottosemigruppo di (S, ) e scriveremo T S.
2. TEORIA DEI SEMIGRUPPI 6
Definition 2.10. Sia un insieme di indici e sia S un semigruppo. Sia (T

una famiglia di sottosemigruppi di S, tale che , T

S . Allora T =

un sottosemigruppo di S.
I sottosemigruppi sono dunque chiusi rispetto alloperazione di intersezione.
Definition 2.11. Sia S un semigruppo e sia X S. Linsieme < X >=

S [ T

X
1
ancora un sottosemigruppo ed detto sottosemigruppo
generato da X.
< X > il pi piccolo sottosemigruppo che contiene X.
Definition 2.12. Sia S semigruppo e sia X S, deniamo X
+
= X X
2

X
3
... X
n
... ... con X
n
= a
1
a
2
...a
n
[ a
1
X, a
2
X, ..., a
n
X
Definition 2.13. Sia S un semigruppo e sia s S. Allora s X
+
n :
s X
n
, ovvero tale che s = x
1
x
2
x
3
...x
n
.
Proposition 2.14. Sia S un semigruppo e sia X S. Allora < X >= X
+
.
Definition 2.15. Sia S un semigruppo. X S detto insieme di generatori
per S se X
+
=< X >= S. Se X un insieme nito, allora S si dice nitamente
generato.
Definition 2.16. Sia (M, ) un monoide. Sia T M e sia 1
M
lidentit di M.
Se T chiuso rispetto alloperazione del monoide M e se 1
M
T , allora (T, )
detto sottomonoide di M e scriveremo T M.
Definition 2.17. Sia M un monoide e sia X M. Si denisce sottomonoide
generato da X linsieme < X >:
< X >=

M [ T

X
2
< X >= 1
M
X X
2
... X
n
... = 1
M
X
+
Se poniamo X
0
= 1
M
, possiamo scrivere < X >=

i0
X
i
= X
0
X
+
= X

.
Propriet degli operatori

e
+
. X S con S semigruppo, abbiamo:
X X
+
(estensivit)
se X, Y S e X Y = X
+
Y
+
(isotomia)
(X
+
)
+
= X
+
(idempotenza)
Definition 2.18. Siano (S, ) e (T, #) due semigruppi. Unapplicazione da
S a T (o viceversa) detta morsmo se u, v S, (u v) = (u)#(v).
1
Questa intersezione linsieme di tutti i sottosemigruppi di S che contengono X.
2
Come nel caso dei semigruppi, si tratta dellinsieme di tutti i sottomonoidi di M che
contengono X.
2. TEORIA DEI SEMIGRUPPI 7
Proposition 2.19. Sia : S T un morsmo dal semigruppo S al semigrup-
po T. Allora vale quanto segue:
(1) S

S = (S

) =
_
(s) [ s S

_
T (ovvero: limmagine di un
sottosemigruppo di S e un sottosemigruppo di T).
(2) T

T =
1
(T

) =
_
s S [ (s) T

_
S (ovvero: la controim-
magine di un sottosemigruppo di T e un sottosemigruppo di S).
Definition 2.20. Siano (M
1
,
1
, 1
M1
) e (M
2
,
2
, 1
M2
) due monoidi. Unappli-
cazione da M
1
a M
2
(o viceversa) detta morsmo se s, t M
1
, (s
1
t) =
(s)
2
(t) e (1
M1
) = 1
M2
.
Definition 2.21. Sia (S, ) un semigruppo. Una relazione si dice compati-
bile a destra con se
3
s, s
1
, s
2
S, s
1
s
2
= s
1
ss
2
.
Definition 2.22. Sia (S, ) un semigruppo. Una relazione si dice compati-
bile a sinistra con se s, s
1
, s
2
S, s
1
s
2
= ss
1
s
2
.
Definition 2.23. Sia (S, ) un semigruppo. Una relazione che sia al contempo
compatibile a destra e a sinistra si dice semplicemente compatibile, ovvero:
s
1
, s
2
, s
3
, s
4
S, s
1
s
2
s
3
s
4
= s
1
s
3
s
2
s
4
Definition 2.24. Sia (S, ) un semigruppo e sia una relazione di equivalenza.
Si dice che una relazione di congruenza se e solo se compatibile con .
Consideriamo ora linsieme quoziente S/ i cui elementi sono le classi di
equivalenza degli elementi di S rispetto alla relazione .
Se s
1
S, allora (s
1
) = x S [ s
1
x la classe di equivalenza di s
1
; segue
che S/ = (s) [ s S.
Deniamo ora loperazione come
: S/ S/ S/
Example 2.25. Siano s
1
, s
2
S, con S semigruppo. Allora (s
1
) (s
2
) =
(s
1
s
2
).
Loperazione associativa e quindi (S/, ) un semigruppo, detto semi-
gruppo quoziente di (S, ).
Definition 2.26. Sia : S T un morsmo dal semigruppo S al semigruppo
T. La relazione di equivalenza

in S denita come
s
1

s
2
(s
1
) = (s
2
)
con s
1
, s
2
S, la relazione di equivalenza naturalmente indotta da su S.
3
Da questo momento in poi loperazione verr sottintesa, scrivendo ab in luogo di a b.
3. SEMIGRUPPI E MONOIDI LIBERI 8
Proposition 2.27. Sia : S T un morsmo dal semgriuppo S al semigrup-
po T. La relazione di equivalenza indotta da su S una congruenza.
Dimostrazione. Siano s
1
, s
2
, s
3
, s
4
S : s
1

s
2
s
3

s
4
. Per la denizio-
ne di equivalenza indotta (s
1
) = (s
2
) e (s
3
) = (s
4
), ovvero (s
1
)(s
3
) =
(s
2
)(s
4
). Essendo un morsmo e per la denizione di equivalenza indotta, si
pu scrivere (s
1
s
3
) = (s
2
s
4
) s
1
s
3

s
2
s
4
, che altro non che la propriet
di compatibilit. Quindi

una congruenza.
Definition 2.28. Sia S un semigruppo e sia una congruenza. Lapplicazione
indotta da su S lapplicazione che associa a ogni elemento di S la sua classe di
equivalenza rispetto a , ovvero

: S S/
denita come

(s
1
) = (s
1
), s
1
S.

risulta un epimorsmo, detto epiformismo canonico.


Theorem 2.29. (Teorema di Isomorsmo) Sia un epimorsmo di S in
T, con S e T semigruppi. Consideriamo

e S/

, con

relazione naturalmente
indotta da . Allora esiste un morsmo biettivo (o isomorsmo) da S/

in T ,
ovvero S/


= T (S/

e T sono isomor).
3. Semigruppi e monoidi liberi
In algebra, una struttura soddisfa la propriet di Fattorizzazione Unica se ogni
elemento pu essere scritto in modo unico come prodotto
4
di elementi primi.
Definition 3.1. (Propriet di fattorizzazione unica). Sia (S, ) un semi
gruppo e sia X S. X si dice base di S se verica la propriet di fattorizzazione
unica:
x
1
, x
2
, ..., x
h
, x

1
, x

2
, ..., x

k
X con h, k N, se x
1
, ..., x
h
= x

1
, ..., x

k
allora
h = k e i = 1..h, x
i
= x

i
.
La propriet di fattorizzazione unica garantisce che se un elemento di S pu
essere fattorizzato come prodotto di elementi di X, tale fattorizzazione unica.
Note 3.2. Se S un monoide con identit 1, allora 1 / X
Definition 3.3. (Semigruppo libero). Sia (S, ) un semigruppo. Esso si
dice libero se esiste X S tale che:
(1) S = X
+
(2) X un base
Note 3.4. Se (S, ) un semigruppo libero, allora esso non pu avere lelemento
idendit, ovvero non pu essere un monoide.
Definition 3.5. (Monoide libero). Sia (M, ) un monoide. Esso si dice
libero se esiste X M tale che:
4
Il termine prodotto usato qui in senso lato. Si intende che lelemento pu essere espresso
in funzione degli elementi primi tramite loperazione denita sulla struttura.
3. SEMIGRUPPI E MONOIDI LIBERI 9
(1) M = X

(2) X una base


Note 3.6. Da quanto gi osservato nelle note precedenti, un monoide libero
non un semigruppo libero.
Monoide delle parole. Supponiamo lesistenza di un insieme A, tale che
[ A [= r, con r un valore aribitrario. Costruiamo Fr(A) come linsieme di tutte le
sequenze (parole) nite di elementi (lettere) di A (alfabeto), ovvero
Fr(A) = w [ w = a
1
a
2
...a
n
, i = 1..na
i
A
Se u e v sono parole, allora u = a
1
a
2
...a
n
e v = b
1
b
2
...b
m
con a
i
, b
j
A e
i = 1..n e j = 1..m.
La parola uv = a
1
a
2
...a
n
b
1
b
2
...b
m
ottenuta tramite concatenazione delle due
parole u e v.
Loperazione di concatenazione associativa, cio
u, vw Fr(A), u(vw) = (uv)w
Si scriva dunque tale operazione col simbolo , allora (Fr(A), ) il semigruppo
delle parole e la sua base A, tale che Fr(A) = A
+
.
Aggiungendo al semigruppo delle parole la parola vuota , otteniamo il monoide
delle parole
[Fr(A)]
1
= Fr(A)
Nel monoide delle parole lidentit costituita dalla parola vuota
u Fr(A) u = u = u
Ogni monoide libero generato da una base di cardinalit r isomorfo al monoide
delle parole.
Proposition 3.7. Sia M un monoide (semigruppo) libero e sia X una base
per M. Se Y un insieme di generatori per M, tale che M = Y

(M = Y
+
),
allora X Y .
Dimostrazione. Supponiamo per assurdo che X Y . Allora x X Y ,
il che implica x X x / Y . Poich X M, x X = x M; essendo Y
un insieme di generatori, si pu scrivere x = y
1
y
2
...y
r
ed essendo X una base per
M, i = 1..r, y
i
= x
(i)
1
x
(i)
2
...x
(i)
ji
, ovvero possiamo esprimere ogni y
i
come prodotto
degli elementi della base. Si avr, dunque, che x = (x
(1)
1
...x
(1)
j1
)...(x
(r)
1
...x
(r)
jr
). X
verica la fattorizzazione unica ed essendo x X lunica possibilit che siano
r = 1 e j
r
= 1; abbiamo dunque x = x
(1)
1
= y
1
Y = x Y , il che ci porta a
un assurdo, poich era stato supposto x X Y .
Corollary 3.8. Una base un insieme minimo di generatori.
Corollary 3.9. Sia M un monoide (semigruppo) libero; allora M ha ununica
base.
3. SEMIGRUPPI E MONOIDI LIBERI 10
Proposition 3.10. (Caratterizzazione delle basi). Sia S un semigruppo e
sia X un insieme di generatori per S, tale che S = X
+
. X la base di S se e solo
se ogni applicazione da X in un qualsiasi semigruppo T, : X T, si estende
a un unico morsmo : S T.
Dimostrazione. = Vogliamo dimostrare che preso un qualunque elemento
di S e denito (S), x X abbiamo che (x) = (x).
Sia s S; s = x
1
x
2
...x
n
con x
i
X, i = 1..n e n N. Essendo X
una base, la fattorizzazione di s unica. Possiamo scrivere dunque che (s) =
(x
1
x
2
...x
n
), e poich un morsmo per denizione, (s) = (x
1
) (x
2
)... (x
n
).
Ma poich s univocamente fattorizzabile tramite gli elementi di X, allora (s) =
(x
1
)(x
2
)...(x
n
).
= Sappiamo che X
+
= S. Supponiamo[ X [= r e sia A un insieme tale che
[ A [= r; poich A e X hanno la stessa cardinalit, esiste una biezione tra i due
insiemi, : A X. Associamo ad A il semigruppo di tutte le parole costruite
sullalfabeto A, F
R
(A) = A
+
e supponiamo inoltre che sia lestensione di tale
che : S A
+
sia suriettiva. Dobbiamo vericare che X soddisfa la propriet di
fattorizzazione unica. Supponiamo per assurdo che X non soddis tale propriet,
questo implica che x
1
, x
2
, ..., x
h
, x

1
, x

2
, ..., x

k
: x
1
x
2
...x
h
= x

1
x

2
...x

k
e h ,= k
oppure, equivalentemente, i : x
i
,= x

i
.
Essendo un morsmo, (x
1
x
2
...x
h
) = (x

1
x

2
...x

k
) = (x
1
) (x
2
)... (x
h
) =
(x

1
) (x

2
)... (x

k
). Essendo unestensione di per ipotesi, possiamo scrivere
(x
1
)(x
2
)...(x
h
) = (x

1
)(x

2
)...(x

k
). Supposto quindi che:
_

_
(x
1
) = a
1
A
(x
2
) = a
2
A
.
.
.
(x
h
) = a
h
A
e
_

_
(x

1
) = b
1
A
(x

2
) = b
2
A
.
.
.
(x

h
) = b
h
A
si deve avere a
1
a
2
...a
h
= b
1
b
2
...b
k
. Poich A la base del semigruppo delle
parole lunica possibilit
5
che h = k e i = 1..h, a
i
= b
i
. Inne, essendo
una biezione, (x
i
) = (x

i
) = x
i
= x

i
, ovvero X soddisfa la propriet di
fattorizzazione unica ed perci la base.
Proposition 3.11. Sia S un semigruppo libero di base X, quindi X
+
= S. Sia
T un semigruppo libero di base Y , quindi Y
+
= T. Supponiamo che [ X [=[ Y [,
allora S

= T.
Dimostrazione. Essendo [ X [=[ Y [ allora esiste una biezione tra X e Y ,
: X Y . Essendo Y T, allora la biezione tra X e Y anche unapplicazione
da X in T. Essendo X la base di S, per la proposizione 3.10, la biezione si estende
a un unico morsmo : S T. Inoltre, essendo una biezione, risulta essere
un epimorsmo ( suriettiva). Bisogna dimostrare che anche iniettiva (ovvero
che si tratta di un morsmo biettivo, dunque un isomorsmo).
Siano s
1
, s
2
S : s
1
,= s
2
, dimostrando che (s
1
) ,= (s
2
) dimostreremo
liniettivit del morsmo. Supponiamo per assurdo che (s
1
) = (s
2
); sapendo
che s
1
= x
1
x
2
...x
h
e s
2
= x

1
x

2
...x

k
, possiamo scrivere (s
1
) = (x
1
x
2
...x
h
) =
5
Altrimenti si avrebbe una parola con due fattorizzazioni diverse, che implicherebbe che A
non base, il che assurdo.
3. SEMIGRUPPI E MONOIDI LIBERI 11
(x

1
x

2
...x

k
) = (s
2
). Essendo un morsmo, possiamo riscrivere questultima
uguaglianza come (x
1
) (x
2
)... (x
h
) = (x

1
) (x

2
)... (x

k
) e ancora, dato che
unestensione di , possiamo riscriverla come (x
1
)(x
2
)...(x
h
) = (x

1
)(x

2
)...(x

k
).
Ma i (x
i
) sono elementi di Y che una base per T e che quindi soddisfa la
propriet di fattorizzazione unica. Questo comporta che h = k e (x
i
) = (x

i
)
i = 1..h. Questo implica, essendo una biezione, che x
i
= x

i
i = 1..h, che a
sua volta implica che s
1
= s
2
. Questa una contraddizione, perch si era supposto
s
1
,= s
2
.
Definition 3.12. (Funzione lunghezza). Sia M un monoide libero di base
A. Ogni elemento w M, con w ,= , si fattorizza in unico modo mediante gli
elementi di A. La lunghezza di w = a
1
a
2
...a
n
(con n N, a
i
A i = 1..n)
indicato con [ w [= n e corrisponde al numero di fattori della base utilizzati per w.
(Variante). Supponiamo di considerare M

= [F
r
(A)]
1
. Sia w M con w ,=
6
,
allora w si pu fattorizzare univocamente tramite gli elementi della base:
w = a
1
a
2
a
3
...a
n
con a
i
A, i = 1..n
n =[ w [ la lunghezza di w.
_
[[: A N
[ a [= 1
essendo M

= [F
r
(A)]
1
= A

, si riduce a un unico omomorsmo


[[: A

N.
Proposition 3.13. (Cancellativit). Ogni monoide libero M cancellativo,
cio
u, w
1
, w
2
M , se uw
1
= uw
2
= w
1
= w
2
(cancellativit a sinistra)
oppure
u, w
1
, w
2
M , se w
1
u = w
2
u = w
1
= w
2
(cancellativit a destra)
Dimostrazione. Per u, w
1
, w
2
= la dimostrazione banale:
u = = w
1
= w
2
w
1
= = uw
2
= u = [ u [ + [ w
2
[=[ u [ = w
2
= = w
1
= w
2
w
2
= = uw
1
= u = [ u [ + [ w
1
[=[ u [ = w
1
= = w
1
= w
2
Supponiamo allora u, w
1
, w
2
,= . Sia A la base del monoide M, allora abbiamo
u = a
1
a
2
...a
n
, w
1
= b
1
b
2
...b
r
, w
2
= c
1
c
2
...c
s
, con a
i
, b
j
, c
k
A, i = 1..n, j =
1..r, k = 1..s.
Abbiamo che uw
1
= uw
2
= a
1
a
2
...a
n
b
1
b
2
...b
r
= a
1
a
2
...a
n
c
1
c
2
...c
s
= s =
r. Inoltre, essendo A una base, b
i
= c
i
i = 1..s, ovvero w
1
= w
2
.
Lemma 3.14. (Lemma di Levi). Sia M monoide libero e sia A la sua base.
Siano w
1
, w
2
, w
3
, w
4
M tali che w
1
w
2
= w
3
w
4
.
se [ w
1
[[ w
3
[ allora M :
_
w
1
= w
3

w
2
= w
4
se [ w
1
[<[ w
3
[ allora M :
_
w
1
= w
3
w
2
= w
4
Dimostrazione. Considereremo nella dimostrazione soltanto il primo caso,
poich il secondo si dimostra allo stesso modo.
Sia dunque [ w
1
[[ w
3
[ e scriviamo i quattro elementi di M come fattoriz-
zazioni degli elementi della base: w
1
= a
1
a
2
...a
r
, w
2
= b
1
b
2
...b
s
, w
3
= c
1
c
2
...c
p
,
6
la sequenza (o parola) vuota.
3. SEMIGRUPPI E MONOIDI LIBERI 12
w
4
= d
1
d
2
...d
q
, com a
i
, b
j
, c
k
, d
l
A. Allora r +s = p +q e r p il che implica che
ci sono p lettere uguali tra w
1
e w
3
, ovvero
_

_
a
1
= c
1
a
2
= c
2
.
.
.
a
p
= c
p
Essendo M un monoide libero, esso cancellativo per la proposizione 3.13,
e si pu scrivere a
p+1
a
p+2
...a
r
b
1
b
2
...b
s
= d
1
d
2
...d
q
. Ponendo = a
p+1
a
p+2
...a
r
,
scriveremo w
2
= w
4
. Mentre w
1
= a
1
a
2
...a
p
a
p+1
...a
r
= c
1
c
2
...c
p
a
p+1
...a
r
= w
3
.

Proposition 3.15. Sia M un monoide libero e N M, allora N ammette un


insieme minimale di generatori,

N, denito come segue:

N = (N 1) (N 1)
2
Questo implica che n

N n ,= 1n ,= n
1
n
2
, con n
1
, n
2


N e n
1
, n
2
,= 1.
Ci signica che gli elementi di

N sono irriducibili.
Dimostrazione. Per dimostrare questa proposizione procederemo in due fasi.
La prima consiste nel dimostrare che

(N)

= N e la seconda consiste nel dimostrare


che

N minimale, ovvero che C : C

= N =

N C.
Dimostriamo che

(N)

N. Supponiamo per assurdo che (



N)

N; questo
implica che n N (

N)

.Poich M un monoide, tra tutti gli n N(



N)

possiamo scegliere quella a lunghezza minima, e la indicheremo con n


0
N(

N)

.
Quindi n
0
/ (

N)

= n
0
/

N. Sappiamo per che n
0
N ed essendo

N =
(N1)(N1)
2
, lunica possibilit che n
0
(N1)
2
. Questo implica che n
1
, n
2

(N1) : n
0
= n
1
n
2
; allora abbiamo che [ n
0
[=[ n
1
[ + [ n
2
[ = [ n
1
[, [ n
2
[<[ n
0
[.
Poich n
0
stato scelto come elemento a lunghezza minima in N(

N)

, ci vuol
dire che n
1
, n
2
(

N)

, ma essendo n
0
= n
1
n
2
= n
0
(

N)

, che una
contraddizione.
Dimostriamo che C : C

= N =

N C. Supponiamo per assurdo che
C : C

= N per il quale si verica che n


0


NC. Poich, come abbiamo visto,
n
0
N = C

, allora si pu scrivere n
0
= c
1
c
2
...c
r
(come prodotto di fattori della
base C). Ma n
0


N, quindi irriducibile, quindi non pu essere espresso come
prodotto di fattori della base C, quindi n
0
= c
1
c
2
...c
r
= n
0
(N1)
2
, che
assurdo.
Definition 3.16. Siano X e Y due insiemi, allora XY = xy [ x X, y Y .
Ergo, XX = X
2
= xy [ x X, y X.
Proposition 3.17. Sia M un monoide libero e sia N M. Sia N generato
da un insieme X M (ovvero, N = X

) e supponiamo che 1 / X. Allora

N = X X
2
X

dove X
2
X

=
_
xy [ x X
2
, y X

_
= X
2
X
3
... X
n
...
Dimostrazione. Sapendo che N = X

, allora abbiamo che



N = (N1)(N1)
2
=
(X

1)(X

1)
2
= X
+
(X
+
)
2
.
3. SEMIGRUPPI E MONOIDI LIBERI 13
A questo punto ricordiamo che X
+
= X X
2
... ...X
n
... = X X
2
X

.
Inoltre (X
+
)
2
= X
+
X
+
= xy [ x X
+
, y X
+
= X
2
X
3
...X
n
... = X
2
X

.
Segue quindi che

N = (X X
2
X

)X
2
X

. Per la propriet distributiva,

N = (XX
2
X

) (X
2
X

X
2
X

) = (XX
2
X

) = XX
2
X

.
Corollary 3.18. Un insieme minimale di generatori che sia anche presso,
sempre una base, ovvero, sia M un monoide libero e sia N M. Sia N generato
da un insieme X M (ovvero, N = X

) e supponiamo che 1 / X. Allora


X

N X X
2
X

= .
Definition 3.19. Sia M un monoide e siano X, Y M. Possiamo denire
X
1
Y = m M [ Xm Y ,= cio x X, y Y : xm = y (quozien-
te o resto sinistro)
Y X
1
= m M [ mX Y ,= cio x X, y Y : mx = y (quozien-
te o resto destro)
Theorem 3.20. (Teorema di Schtzenberger). Sia M un monoide libero
e sia N un sottomonoide di M. N libero N
1
N NN
1
N.
Dimostrazione. ( = ). N libero = N
1
N NN
1
N. Per dimostrare
questo verso dellimplicazione, bisogna provare che
w N
1
N NN
1
= w N, ovvero che w N
1
N w NN
1
=
w N, ovvero che
n
1
, n
2
, n
3,
n
4
N :
_
n
1
w = n
2
wn
3
= n
4
= w N.
Se n
2
= o n
4
= , allora [ n
1
w [=[ wn
3
[= 0 il che implica che w = N.
Supponiamo invece che
n
1
= a
1
a
2
...a
h
con a
i


N, i = 1..h
n
2
= b
1
b
2
...b
k
con b
i


N, i = 1..k
n
3
= c
1
c
2
...c
r
con c
i


N, i = 1..r
n
4
= d
1
d
2
...d
s
con d
i


N, i = 1..s
Allora possiamo scrivere
_
n
1
w = n
2
wn
3
= n
4
=
_
(a
1
...a
h
)w = (b
1
...b
k
)
w(c
1
...c
r
) = (d
1
...d
s
)
Moltiplichiamo ambo i membri della prima equazione per (c
1
...c
r
) ottenendo
(a
1
...a
h
)w(c
1
...c
r
) = (b
1
...b
k
)(c
1
...c
r
)
Dalla seconda equazione vediamo che w(c
1
...c
r
) = (d
1
...d
s
), quindi possiamo
riscrivere la prima equazione come segue
(a
1
...a
h
)(d
1
...d
s
) = (b
1
...b
k
)(c
1
...c
r
)
Da questultimo sviluppo si evince che h + s = k + r.
Possiamo avere quindi tre casi.
Se h < k, allora a
1
= b
1
...a
h
= b
h
, ovvero i primi h elementi di n
1
sono gli
stessi dei primi h di n
2
e possiamo sviluppare ancora lequazione scrivendo
(a
1
...a
h
)(d
1
...d
s
) = (b
1
...b
h
)(b
h+1
...b
k
)(c
1
...c
r
)
dato che a
1
= b
1
...a
h
= b
h
allora, per la cancellativit si ha
3. SEMIGRUPPI E MONOIDI LIBERI 14
(d
1
...d
s
) = (b
h+1
...b
k
)(c
1
...c
r
)
e poich w(c
1
...c
r
) = (d
1
...d
s
)
w(c
1
...c
r
) = (b
h+1
...b
k
)(c
1
...c
r
) = w = (b
h+1
...b
k
) = w N
Se invece h = k, questo implica w = N.
Se, inne, h > k, ci troveremmo in un assurdo, poich i primi k elementi di n
1
sono gli stessi dei primi k di n
2
e possiamo sviluppare ancora lequazione scrivendo
(a
1
...a
k
)(a
k+1
...a
h
)(d
1
...d
s
) = (b
1
...b
k
)(c
1
...c
r
)
dato che a
1
= b
1
...a
k
= b
k
allora, per la cancellativit si ha
(a
k+1
...a
h
)(d
1
...d
s
) = (c
1
...c
r
)
Poich (d
1
...d
s
) = w(c
1
...c
r
) allora
(a
k+1
...a
h
)w(c
1
...c
r
) = (c
1
...c
r
)
e, di nuovo per la cancellativit, si ha
(a
k+1
...a
h
)w =
il che implica che
(a
1
...a
h
)w =
che implicherebbe a
i
= i = 1..h, il che impossibile visto che a
i


N e
/

N.
(=). N
1
N NN
1
N = N libero , ovvero che N ha la base, ovvero
che soddisfatta la propriet di fattorizzazione unica.
Presi a
i


N i = 1..h e b
i


N i = 1..k, dimostreremo che (a
i
)
i=1..h
=
(b
i
)
i=1..k
= h = k e i = 1..h, a
i
= b
i
.
Supponiamo [ b
1
[[ a
1
[. Per li Lemma di Levi, abbiamo
_
b
1
= a
1
z
a
2
...a
h
= z(b
2
...b
k
)
=
_
z N
1
N
z NN
1
= z N
1
N NN
1
=
z N
Ma sappiamo che b
1
= a
1
z, b
1


N, a
1


N, il che signica che possibile
scrivere b
1
come prodotto di elementi di

N, il che assurdo perch essendo b
1
un
elemento di

N, irriducibile. Per questo lunica possibilit che z = , che implica
che b
1
= a
1
.
Reiterando il ragionamento tutti i b
i
e a
i
, si possono vericare due casi:
h = k: in questo caso avremmo dimostrato lasserto, poich avremmo mostrato
che a
i
= b
i
per ogni i = 1..h
h > k oppure k > h: se cos fosse, ci si troverebbe, a un certo punto, con
a
k+1
...a
h
= (oppure a
h+1
...a
k
= ), cio a
i
= per ogni i = 1..h (o i = 1..k), il
che impossibile in quanto a
i


N e /

N.
Quindi lunica possibilit che h = k, che conclude la nostra dimostrazione.
Theorem 3.21. (Teorema di Cohn). Sia M un monoide libero e sia N M
(sottomonoide),
N libero m M, n N:
_
nm N
mn N
= m N
3. SEMIGRUPPI E MONOIDI LIBERI 15
Il teorema di Cohn equivalente al teorema di Schtzenberger.
Applicazioni del teorema di Schtzenberger.
Proposition 3.22. Sia M monoide libero e siano N

M con sot-
tomonoidi liberi di M; comunque presi gli N

abbiamo che N =

un
sottomonoinde libero di M.
Dimostrazione. Per dimostrare che N M basta utilizzare il teorema di
Cohn e dimostrare quindi che
m M, n
1
n
2
n
3
n
4
N:
_
n
1
m = n
2
mn
3
= n
4
= m N
Per denizione, N =

, quindi n N = n N

. Poich ogni
N

libero vale che


m M, n
1
n
2
n
3
n
4
N:
_
n
1
m = n
2
mn
3
= n
4
= m N

per ogni N

, quindi m N

e cio m

= N - c.v.d.
Questultima proposizione aerma in sostanza che i sottomonoidi liberi sono
chiusi rispetto alloperazione di intersezione.
Definition 3.23. Sia S un semigruppo e X una parte di S (X S). Se
X
1
X XX
1
X, allora X detta parte liberabile di S (detto semigruppo
stabile).
In seguito a questa denizione, il teorema di Schtzenberger pu essere rifor-
mulato come segue:
Theorem. (Teorema di Schtzenberger). Sia M un monoide libero e sia
N un sottomonoide di M. N libero N parte liberabile di M.
Definition 3.24. Sia M un monoide libero e sia N un sottomonoide. N si dice
unitario a sinistra se N
1
N N. N si dice unitario a destra se NN
1
N.
Definition 3.25. Sia M un monoide libero e sia N un sottomonoide. Se N
unitario sia a sinistra che a destra, N si dice biunitario.
Proposition 3.26. Sia M un monoide libero e N M e M = A

. Se N
unitario a sinistra allora N libero e la sua base X = (N 1) (N 1)
2
un
insieme presso (X XA
+
= ).
Dimostrazione. Per ipotesi N unitario a sinistra, ovvero N
1
N N. E
banale che N
1
N NN
1
N
1
N. Segue che N
1
N NN
1
N, ovvero N
parte liberabile di M. Per il teorema di Schtzenberger, N libero. Ora resta da
dimostrare che X base di N un insieme presso.
Supponiamo per assurdo che X non sia presso, questo signica x
1
, x
2
X :
x
1
= x
2
z. Se cos fosse, z N
1
N N = z N e cio x
1
sarebbe il prodotto
di elementi di N, il che assurdo in quanto X costituito da elementi irriducibili,
quindi X presso.
4. TEORIA DEI CODICI 16
4. Teoria dei Codici
S C Canale D R
S detta sorgente, C codicatore, D decodicatore, R ricevitore.
Definition 4.1. La sorgente S descritta mediante un alfabeto Y = y
1
, y
2
, ..., y
h

detto alfabeto sorgente. Y



un monoide libero su Y e ogni n Y

detto mes-
saggio sorgente (o messaggio in chiaro), poich Y

costituisce linsieme delle parole
costruite sullalfabeto Y , che anche la base del monoide libero Y

.
Definition 4.2. Sia A un insieme detto alfabeto dei codici e sia A

il monoi-
de libero sullalfabeto dei codici, allora si denisce codica sequenziale un mor-
smo iniettivo (un monomorsmo) dallinsieme dei messaggi in chiaro allinsieme dei
messaggi in codice, : Y

A

tale che
w
1
, w
2
Y

= (w
1
w
2
) = (w
1
)(w
2
) (propriet di morsmo)
w
1
, w
2
Y

, w
1
,= w
2
= (w
1
) ,= (w
2
) (propriet di iniettivit)
Definition 4.3. Un codice su A la base di un sottomonoide libero di A

.
Proposition 4.4. Siano Y

e A

monoidi liberi, sia Y la base di Y



e sia
: Y

A

un monomorsmo. Allora (Y ) = X un codice su A (o codice per


A

).
Dimostrazione. Supponiamo per assurdo che X non sia un codice; allora
h, k N : x
1
, x
2
, ..., x
h
, x

1
, x

2
, ..., x

k
X e x
1
x
2
...x
h
= x

1
x

2
...x

k
e h ,= k (oppure
i : x
i
,= x

i
). Essendo un monomorsmo ed essendo (Y ) = X tra X e Y esiste
una biezione. Dunque y
1
, ..., y
h
, y

1
, ..., y

k
tali che
_

_
(y
1
) = x
1
(y
2
) = x
2
.
.
.
(y
h
) = x
h
e
_

_
(y

1
) = x

1
(y

2
) = x

2
.
.
.
(y

k
) = x

k
quindi
(y
1
)...(y
h
) = (y

1
)...(y

k
) = (y
1
...y
h
) = (y

1
...y

k
); poich iniettiva,
allora y
1
...y
h
= y

1
...y

k
ed essendo Y una base, h deve essere uguale a k, che
assurdo poich si supposto h ,= k.
Proposition 4.5. Viceversa, se X un codice su A e Y un insieme che
ha la stessa cardinalit di X, allora ogni biezione : Y X si estende a un
monomorsmo di Y

in A

.
Dimostrazione. Essendo X un codice su A, esso una base per un sottomo-
noide libero di A

quindi per la proposizione 3.10 a pagina 10, : Y X si estende


a un unico morsmo

: Y

X

e quindi anche a un morsmo : Y



A

essendo X

.
Resta da dimostrare liniettivit di , ovvero che si tratta di un monomorsmo,
come recita la tesi, e cio che presi w
1
, w
2
Y

: w
1
= y
1
...y
h
, w
2
= y

1
...y

k
e
(w
1
) = (w
2
) allora deve vericarsi che w
1
= w
2
.
4. TEORIA DEI CODICI 17
Per le propriet dei morsmi e per il fatto che unestensione di , abbiamo
(w
1
) =

(y
1
...y
h
) = (y
1
)... (y
h
) = (y
1
)...(y
h
)
(w
2
) =

(y

1
...y

k
) = (y

1
)... (y

k
) = (y

1
)...(y

k
)
Essendo per ipotesi una biezione, x
1
, ..., x
h
, x

1
, ..., x

k
X tali che
_

_
(y
1
) = x
1
(y
2
) = x
2
.
.
.
(y
h
) = x
h
e
_

_
(y

1
) = x

1
(y

2
) = x

2
.
.
.
(y

k
) = x

k
Avendo supposto (w
1
) = (w
2
) abbiamo che x
1
...x
h
= x

1
...x

k
ed essendo X
un codice su A
7
, deve essere h = k e x
i
= x

i
i = 1..h; ma essendo una biezione,
allora anche y
i
= y

i
i = 1..h e quindi w
1
= w
2
- c.v.d.
Resti destri e resti sinistri. Sia M un monoide e sia X M.
Il resto destro di primo ordine R
1
= X
1
X ; quello di secondo dato da
R
2
= X
1
R
1
R
1
1
X.
Si giunge quindi al resto di ordine n, dato da R
n
= X
1
R
n1
R
1
n1
X.
Discorso simile per i resti sinistri.
Il resto sinistro di primo ordine L
1
= XX
1
. Quello di ordine n
L
n
= XL
1
n1
L
n1
X
1
.
Teorema di Sardinas e Patterson. Il teorema di Sardinas e Patterson ci
conferisce la facolt di sapere se un particolare insieme X codice in base ai suoi
resti destri
8
. La dimostrazione di tale teorema coadiuvata da due lemmi che nel
seguito saranno presentati prima della dimostrazione del teorema stesso.
Lemma 4.6. Sia X A
+
; allora n > 0, R
n
X ,= R
n+1
.
Dimostrazione. ( = ) R
n
X ,= = x : x X x R
n
.
Poich x R
n
, per denizione di R
n+1
sottraiamo ad x, x stesso ottenendo .
Pertanto R
n+1
.
(=) R
n+1
=
per definizione
X
1
R
n
oppure R
1
n
X.
Nel primo caso abbiamo: X
1
R
n
= x X r
n
R
n
: x = r
n
=
r
n
= x = R
n
X =
Nel secondo caso: R
1
n
X = x X r
n
R
n
: r
n
= x = r
n
=
x = R
n
X =
Lemma 4.7. Sia X A
+
. n > 0 k = 1..n si ha che R
n
r
k

R
k
i, j N : i + j + k = n r
k
X
i
X
j
,=
9
Dimostrazione. La dimostrazione avviene per induzione discendente su k.
Passo base (k = n).
( = ) Per ipotesi R
n
ed essendo k = n gli unici valori di i e j tali
che i + j + k = n sono i = 0 e j = 0; esister quindi un r
k
R
k
R
n
tale
che r
k
X
0
X
0
= r
k
. Si pu quindi scegliere r
k
= ottenendo cos
, = e dimostrando pertanto lasserto.
7
Quindi X una base e quindi soddisfa la propriet di fattorizzazione unica.
8
Equivalentemente possono essere usati i resti sinistri, ma nel seguito si far sempre uso dei
resti destri.
9
r
k
X
i
X
j
equivale a dire che dato r
k
R
k
esistono x
1
, x
2
, ..., x
i
, x

1
, x

2
, ..., x

j
X tali che
r
k
x
1
...x
i
= x

1
...x

j
.
4. TEORIA DEI CODICI 18
(=) Per ipotesi r
k
R
k
R
n
e i, j N : i + j + k = n il che implica,
essendo k = n, che i = j = 0. Avremo, quindi, r
k
X
0
X
0
= r
k
,=
= r
k
= = R
n
, come dovevasi dimostrare.
Passo di induzione.
( = ) Supponiamo vera la tesi per k + 1, ovvero la nostra ipotesi induttiva
R
n
= r
k+1
R
k+1
i, j N : i + j + k + 1 = n r
k+1
X
i
X
j
,=
Per denizione R
k+1
= X
1
R
k
R
1
k
X; ci vuol dire che r
k+1
X
1
R
k
oppure
r
k+1
R
1
k
X e pertanto
x Xr
k
R
k
:
_
_
_
xr
k+1
= r
k
(Caso 1)
oppure
r
k
r
k+1
= x (Caso 2)
Caso 1. Per ipotesi induttiva vale
r
k+1
x
1
x
2
...x
i
= x

1
x

2
...x

j
ricordando che r
k+1
X
i
X
j
,= . Moltiplicando a sinistra ambo i membri per
x si ottiene
xr
k+1
x
1
x
2
...x
i
= xx

1
x

2
...x

j
Poich siamo nel caso 1, xr
k+1
= r
k
e quindi
r
k
x
1
x
2
...x
i
= xx

1
x

2
...x

j
Questo signica che r
k
X
i
X
j

,= con i + j

+ k = n, r
k
R
k
, i, j

N e
j

= j + 1. Dallarbitrariet di i e j segue lasserto.


Caso 2. Per ipotesi induttiva abbiamo ancora una volta
r
k+1
x
1
x
2
...x
i
= x

1
x

2
...x

j
Moltiplicando a sinistra ambo i membri per r
k
otteniamo
r
k
r
k+1
x
1
x
2
...x
i
= r
k
x

1
x

2
...x

j
Trovandoci nel caso 2, r
k
r
k+1
= x e quindi abbiamo
xx
1
x
2
...x
i
= r
k
x

1
x

2
...x

j
Questo signica che X
i

r
k
X
j
,= con i

+ 1 + j + k = n, r
k
R
k
, i,

j N
e i

= i + 1. Dallarbitrariet di i e j segue lasserto.


(=) Supponiamo vera, ancora una volta, la tesi per k + 1, ovvero la nostra
ipotesi induttiva
r
k+1
R
k+1
i, j N : i + j + k + 1 = n r
k+1
X
i
X
j
,= = R
n
Per ipotesi invece abbiamo che r
k
R
k
i

, j

N : r
k
X
i

X
j

,= con
i

+ j

+ k = n. Dunque abbiamo
r
k
x
1
x
2
...x
i
= xx

1
x

2
...x

Applichiamo ora il Lemma di Levi e consideriamo i due casi:


4. TEORIA DEI CODICI 19
1) [ x

1
[[ r
k
[
2) [ r
k
[[ x

1
[
Caso 1: per il lemma di Levi abbiamo
_
x

1
= r
k
p
x
1
...x
i
= px

2
...x

= p R
k+1
Poniamo allora r
k+1
= p e otteniamo r
k+1
X
j

1
X
i

,= con k +1 +i

+
j

1 = n = R
n
.
Per ipotesi induttiva e per larbitrariet di i e j, si giunti alla dimostrazione
dellasserto.
Caso 2: procedendo analogamente al caso 1, si ha che
_
r
k
= x

1
p
px
1
...x
i
= x

2
...x

j
= p R
k+1
Poniamo allora r
k+1
= p e otteniamo r
k+1
X
i

X
j

1
,= con k +1 +i

+
j

1 = n = R
n
.
Theorem 4.8. (Teorema di Sardinas e Patterson). Sia X A
+
. X non
codice n 1 : X R
n
,= .
Dimostrazione. La dimostrazione di questo teorema procedo attraverso i due
lemmi precedenti. Prima si dimostrer che X non codice R
n
, grazie
allaiuto del lemma 4.7 a pagina 17e poi, grazie al lemma 4.6 a pagina 17 si arriver
a dimostrare la tesi di questo teorema.
Dimostriamo quindi che X non codice R
n
.
( = ). Poich X non un codice x, y, x
1
, ..., x
i
, x

1
, ..., x

j
con x ,= y tali che
xx
1
x
2
...x
i
= yx

1
x

2
...x

j
Applicando il Lemma di Levi otteniamo due casi:
1) [ x [[ y [
2) [ y [[ x [
Caso 1: per il lemma di Levi otteniamo
_
y = xp
x
1
...x
i
= px

1
...x

j
=
_
p R
1
pX
j
X
i
,=
= (per il lemma 4.7 a
pagina 17 con k = 1) R
n
Caso 2: per il lemma di Levi otteniamo
_
x = yp
px
1
...x
i
= x

1
...x

j
=
_
p R
1
X
j
pX
i
,=
= (per il lemma 4.7 a
pagina 17 con k = 1) R
n
(=). Dato che R
n
, per il lemma 4.7 a pagina 17 con k = 1, r
1
R
1
i, j:
i + j + 1 = n r
1
X
i
X
j
,= .
Poich r
1
R
1
= X
1
X , x, y X : xr
1
= y. Essendo r
1
,= per
denizione di resto detro, x ,= y in quanto [ x [ + [ r
1
[=[ y [, con [ r
1
[ 1.
Dal fatto che r
1
X
i
X
j
,= sappiamo che r
1
x
1
...x
i
= x

1
...x

j
. Moltiplicando
a sinistra ambo i membri di questa uguaglianza per x, otteniamo
xr
1
x
1
...x
i
= xx

1
...x

j
Abbiamo detto che xr
1
= y quindi
4. TEORIA DEI CODICI 20
yx
1
...x
i
= xx

1
...x

j
Poich x
r
X, r = 1..i e x

s
X, s = 1..j e x, y X, x ,= y abbiamo trovato
una parola di X che ha due fattorizzazioni diverse. Questo implica che X non un
codice.
Ora che si dimostrato che X non codice R
n
, per il lemma 4.6 a
pagina 17, R
n
R
n1
X ,= e quindi si ottiene che n 1 : R
n
X ,=
X non un codice.
Definition 4.9. (Susso). Sia X un insieme. Sia x X. Indicheremo con
Suff(x) un elemento s tale che y X : ys = x.
Definition 4.10. (Insieme dei sussi). Dato un insieme X indicheremo
con Suff(X) linsieme dei suoi sussi, cos denito
Suff(X) = s [ x X : s = Suff(x)
Proposition 4.11. Sia X un insieme e sia x X. Allora [ Suff(x) [[ x [
+1
10
.
Teorema di Levenstein.
Lemma 4.12. Sia X A
+
un insieme nito. Allora n 1, R
n
Suff(X).
Dimostrazione. La dimostrazione procede per induzione su n.
Passo base (n = 1). Consideriamo un elemento arbitrario di R
1
; w R
1

x
1
, x
2
X con x
1
,= x
2
: x
1
w = x
2
, ma w susso di x
2
quindi w Suff(X).
Dallarbitrariet di w segue che ci vale per ogni elemento di R
1
, quindi R
1

Suff(X).
Passo di induzione (n > 1). Si supponga vera lipotesi per n; dimostreremo
che la tesi vera anche per n + 1.
Consideriamo un aribitrario elemento w R
n+1
; per denizione, R
n+1
=
X
1
R
n
R
1
n
X = x X r
n
R
n
tali che
1) xw = r
n
2) r
n
w = x
Nel secondo caso, w susso di x X il che implica che w Suff(X). Nel
caso 1 w susso di r
n
R
n
che per ipotesi induttiva suso di una parola di X.
Questo implica ancora una volta che w Suff(X). Dallarbitrariet di w segue
che ci vale per ogni elemento di R
n+1
, quindi R
n+1
Suff(X).
Lemma 4.13. Sia X A
+
un insieme nito. Sia N = Card(X) e sia L =
max
xX
[ x [. Allora vale la seguete disuguaglianza
Card(Suff(X)) (NL) + 1
Dimostrazione. Card(Suff(X)) = Card(

xX
Suff(x))
Per la proposizione 4.11 sappiamo che Suff(x) [ x [ +1.
Abbiamo dunque che Card(

xX
Suff(x))

xX
[ x [ +1 (NL) + 1
11
.
10
Il +1 dopo per considerare la parola vuota .
11
Il +1 fuori dalla sommatoria poich la parola vuota va conteggiata una e una sola volta.
4. TEORIA DEI CODICI 21
Lultimo passaggio possibile poich la somma delle lunghezze di tutte le parole
di un insieme sicuramente maggiorabile con N volte la lunghezza della parola pi
lunga nellinsieme X di cardinalit N.
Pertanto, Card(Suff(X)) (NL) + 1.
Theorem 4.14. (Teorema di Levenstein). Sia X A
+
e sia X un insieme
nito. Allora X codice n, 1 n (NL) + 1 R
n
X = .
Dimostrazione. ( = ) X codice per ipotesi. Per il teorema di Sardinas e
Patterson
12
( 4.8 a pagina 19) lasserto segue banalmente.
(=) Supponiamo per assurdo che X non sia un codice. Allora per il teorema
di Sardinas e Patterson n 1 : R
n
X ,= . Se n (NL) + 1, allora si avrebbe
una contraddizione, poich per ipotesi R
n
X = per n (NL) + 1. Pertanto si
suppone che n > (NL) +1 e tra tutti gli n che soddisfano tale condizione scegliamo
il pi piccolo, ovvero min n [ n > (NL) + 1 R
n
X ,= . Poich si supposto
R
n
X ,= , allora R
n
contiene almeno un elemento.
Sia r
n
R
n
= r
n1
R
n1
e x
n1
X tali che
_
x
n1
r
n
= r
n1
r
n1
r
n
= x
n1
e quindi r
n1
R
n1
e x
n2
X e r
n2
R
n2
tali che
_
x
n2
r
n1
= r
n2
r
n2
r
n1
= x
n2
e cos via no ad arrivare ai resti del primo ordine dove si avr
_
x
1
r
2
= r
1
r
1
r
2
= x
1
Si cos mostrato che per ogni i n esiste R
i
non vuoto.
Avendo garantito lesistenza degli insiemi R
i
, si pu creare una successione di
resti destri r
1
r
2
...r
n
e di parole x
1
x
2
...x
n
tali che r
i
R
i
e x
i
X per ogni i = 1..n
e
_
x
i
r
i+1
= r
i
r
i
r
i+1
= x
i
Poich ogni insieme R
i
con 1 i n non vuoto e n > (NL) + 1, allora

n
i=1
R
i
,= , poich altrimenti sarebbe vero che Card(

n
i=1
R
i
) > NL + 1, ma
ci assurdo perch per il lemma 4.12 nella pagina precedente si ha che i, 1
i n R
i
Suff(X) =

n
i=1
R
i
Suff(X) e quindi Card(

n
i=1
R
i
)
Card(Suff(X)) (NL) +1. Questultimo passaggio giusticato dal lemma 4.13
nella pagina precedente.
Assodato, dunque, che

n
i=1
R
i
,= , allora esistono i, j N tali che 1 i <
j n e tali che r
i
= r
j
con r
i
R
i
e r
j
R
j
. Dalla successione costruita pi
sopra si ottiene
_
x
j
r
j+1
= r
j
r
j
r
j+1
= x
j
essendo r
j
= r
i
R
i
allora la precedente pu essere scritta come
_
x
i
r
j+1
= r
i
r
i
r
j+1
= x
i
il che implica che r
j+1
R
i+1
. Reiterando il ragionamento si ha che
12
Il teorema di Sardinas e Patterson aerma che X non codice se e soltanto se n > 0 :
Rn X = . Applicando loperatore logico allintera formulazione si ottiene ovviamente che X
codice se e soltanto se n > 0Rn X = .
4. TEORIA DEI CODICI 22
=
r
j+2
R
i+2
r
j+3
R
i+3
.
.
.
r
j+nj
R
i+nj
Sia m = i + n j = n (j i). Abbiamo dunque r
j+nj
= r
n
R
m
e si
quindi trovato un elemento r
n
tale che r
n
R
n
r
n
R
m
e cio un altro indice
m < n per il quale vale R
m
X ,= ; ci va a contraddire lipotesi di n come pi
piccolo indice per il quale R
n
X ,= . Si giunti quindi a una contraddizione e
pertanto segue che X codice.
Proposition 4.15. Sia X A
+
e sia X un insieme nito; allora possibile
decidere se X un codice o meno.
Dimostrazione. Sia R
1,
R
2
, ..., R
n
, ... la successione dei resti destri di X. Per
il lemma 4.12 a pagina 20 ogni resto destro contenuto in Suff(X) che un
insieme nito, quindi i, j N : 0 < i < j per i quali R
i
= R
j
. Supponiamo che
j sia il pi piccolo valore per il quale i : (i < j R
i
= R
j
). A questo punto si
costruisce la successione R
1
, R
2
, ..., R
j1
. Se R
j
= R
i
allora R
j+1
= R
i+1
poich
R
j+1
= X
1
R
j
R
1
j
X = X
1
R
i
R
1
i
X = R
i+1
.
Questo signica che si ha un insieme di resti destri nito.
Definition 4.16. Dati X, Y A
+
, X Y = xy A

[ x X y Y . Il
prodotto X Y detto non ambiguo se w X Y !(x, y) X Y : w = xy.
Proposition 4.17. Sia X A

. X codice n > 0 X X
n
non
ambiguo.
Dimostrazione. ( = ) Supponiamo per assurdo che n : XX
n
ambiguo.
Allora, per denzione di ambiguo x, y X e w
1
, w
2
X
n
tali che xw
1
= yw
2
con w
1
= x
1
...x
n
e w
2
= y
1
...y
n
, quindi xx
1
...x
n
= yy
1
...y
n
, il che implica che
esiste una parola che ha due fattorizzazioni e ci assurdo poich per ipotesi X
un codice.
(=) Supponiamo per assurdo che X non sia codice, allora x, y X e
x
1
, ..., x
h
, x

1
, ..., x

k
tali che xx
1
...x
h
= yx

1
...x

k
il che ci permette di scrivere
xx
1
...x
h
yx

1
...x

k
= yx

1
...x

k
xx
1
...x
h
con x X, x
1
...x
h
yx

1
...x

k
X
h+1+k
, y X e x

1
...x

k
xx
1
...x
h
X
k+1+h
, quindi
questo porterebbe allambiguit di XX
h+k+1
, che assurdo per le ipotesi di non
ambiguit.
Proposition 4.18. Sia X A
+
allora X presso XA

non ambiguo.
Distribuzioni di Bernoulli.
Definition 4.19. Una distribuzione di Bernoulli una funzione da un
insieme A allinsieme R
+
, : A R
+
, tale che (a) 0 a A e tale che

aA
(a) = 1. Tale distribuzione detta positiva se a A, (a) > 0.
4. TEORIA DEI CODICI 23
Diseguaglianza di Kraft-McMillan. La diseguaglianza di Kraft-McMillan
un caso particolare del teorema di Kraft-McMillan per distribuzioni uniformi.
Sia X un codice su un alfabeto A di cardinalit d, allora si ha che

xX
d
|x|
1
La diseguaglianza aerma, in pratica, che se X codice non possibile avere
molte parole di lunghezza piccola.
Definition 4.20. (Funzione di struttura). Sia X un codice su A. Si
denisce funzione di distribuzione della lunghezza o funzione di struttura di X
lapplicazione f
x
: N N tale che f
X
(n) = Card(X A
n
).
La funzione di struttura permette di sapere quante parole di lunghezza n so-
no presenti nellinsieme X. La diseguaglianza di Kraft-McMillan in termini della
funzione di distribuzione della lunghezza si presenta come segue

n0
f
x
(n)d
n
1
Definition 4.21. Una distribuzione di Bernoulli uniforme su un insieme A
con Card(A) = d ha come caratteristica che a A, (a) =
1
d
.
Definition 4.22. (Estensione della Distribuzione di Bernoulli dalle let-
tere alle parole). Sia : A R
+
una distribuzione di Bernoulli. Essa si estende
univocamente a un morsmo : A

R
+
con () = 1 e u, v A

, (uv) =
(u) (v).
Definition 4.23. (Estensione della Distribuzione di Bernoulli alle par-
ti). Sia B(A

) linsieme delle parti di A

, ovvero B(A

) linsieme di tutti i linguaggi


sullalfabeto A.
: B(A

) R
+
+ con denita come segue:
1. () = 0
2. (X) =

xX
(x)
Se X nito, allora (X) < +, se invece X un insieme innto, allora (X)
pu essere nito o innito.
In aggiunta, verica la seguente propriet
(
_
i
X
i
)

i
(X
i
)
Luguaglianza si ottiene nel caso in cui

i
X
i
= .
Definition 4.24. Deniamo DB come linsieme delle Distribuzioni di Bernoulli
e deniamo DBP DB linsieme delle Distribuzioni di Bernoulli positive.
Proposition 4.25. Siano X, Y B(A

) e DB, allora si ha che (xy)


(x)(y). Se X Y non ambiguo, allora (XY ) = (X)(Y ).
4. TEORIA DEI CODICI 24
Dimostrazione. X =

xX
x e Y =

yY
y allora X Y =

xX
x

yY
y =

xX,yY
x y.
Questo implica che (X Y ) = (

xX,yY
xy)

xX,yY
(xy) =

xX,yY
(x)(y) =

xX
(x)

yY
(y) = (x)(y).
Proposition 4.26. Se DBP e (XY ) = (X)(Y ) e ancora (XY ) < +
allora XY non ambiguo.
Dimostrazione. Supponiamo per assurdo che X Y sia ambiguo, allora w :
w = xy = x

e (w) > 0. Stando cos le cose, allora (X)(Y ) (XY ) + (w);


poich (XY ) < +, si ottiene che (X)(Y ) > (XY ) il che ci conduce a un
assurdo. Pertanto XY non ambiguo.
Proposition 4.27. Sia X A
+
e sia DB. Se X codice, allora n > 0
(X
n
) = [(X)]
n
.
Dimostrazione. Per ipotesi X un codice, allora per la proposizione 4.18
XX
n
non ambiguo e si pu quindi scrivere (X)(X
n
) = (XX
n
) essendo
DB.
Procediamo ora per induzione su n.
Passo base (n = 1). n = 1 = (X) = [(X)]
1
- banale.
Passo di induzione. Supponiamo lipotesi vera per n e dimostriamo la stessa
per n + 1.
(X
n+1
) = (XX
n
) = (X)(X
n
) =
per ipotesi induttiva
(X)[(X)]
n
= [(X)]
n+1
- c.v.d.
Proposition 4.28. Sia X A
+
e sia DB. Se DBP, (X
n
) =
[(X)]
n
, (X) < +, allora X un codice.
Dimostrazione. Per dimostrare che X un codice, bisogna mostrare che n
XX
n
non ambiguo. Ricordando che (XY ) = (X)(Y ) XY non
ambiguo, possiamo mostrare che (XX
n
) = (X)(X
n
):
(XX
n
) = (X
n+1
) =
per ipotesi
[(X)]
n+1
= (X)[(X)]
n
= (X)(X
n
).
Ora ci resta da mostrare che (XX
n
) < +:
(XX
n
) = (X
n+1
) = [(X)]
n+1
< , essendo (X) < + per ipotesi.
Segue che X codice.
Proposition 4.29. Sia A un alfabeto. Allora n 0 DB, (A
n
) = 1.
Dimostrazione. (A
n
) = [(A)]
n
ma essendo (A) = 1 in quanto DB,
allora si ha [(A)]
n
= [1]
n
= 1
Theorem 4.30. (Teorema di Kraft-McMillan generalizzato). Sia X un
codice su A. Allora DB, (X) 1.
Dimostrazione. (Caso di X nito). Se X nito, possibile prendere
L = max [ x [: x X
e inoltre sappiamo che
X A A
2
... A
L
=
L
_
i=1
A
i
4. TEORIA DEI CODICI 25
La lunghezza delle parole su X limitata da n L e cio
X
n

nL
_
i=1
A
i
ovvero la parola pi lunga che possibile ottenere costituita da n volte la
concatenazione della parola di lunghezza L, quindi
(X
n
) (
nL
_
i=1
A
i
)
nL

i=1
(A
i
)
Per la proposizione 4.29 la precedente uguale a
nL

i=1
1 = nL
ovvero (X
n
) nL = [(X)]
n
nL = (X) n
1/n
L
1/n
, quindi
(X) lim
n+
n
1/n
L
1/n
= 1.
(Caso di X innito). Consideriamo X
k
= x X :[ x [ k; ogni X
k
X
codice
13
nito, il che implica, da quanto dimostrato sinora, che (X
k
) 1. Poich
X
k
X
k+1
si ha che (X
k
) (X
k+1
) 1. Si crea cos una successione monotona
crescente a termini non negativi e pertanto vale
lim
k+
(X
k
) 1
Sapendo che
X = X
1
(X
2
X
1
) (X
3
X
2
) ... X
i+1
X
i
) ... = X
1

n
_
i=1
(X
i+1
X
i
)
passando alle probabilit si ottiene
(X) = (X
1
) +
+

i=1
(X
i+1
X
i
)
ma (X
i+1
X
i
) = (X
i+1
) (X
i
), perci sostituendo nella precedente
(X) = (X
1
) +
+

i=1
(X
i+1
) (X
i
) = (X
1
) + lim
n+
n

i=1
(X
i+1
) (X
i
)
Sviluppando la sommatoria otteniamo
(X
n+1
) (X
n
) + (X
n
) (X
n1
) + ... + (X
2
) (X
1
) = (X
n+1
) (X
1
)
quindi
(X) = (X
1
)+ lim
n+
[(X
n+1
)(X
1
)] = (X
1
)(X
1
)+ lim
n+
(X
n+1
) = lim
n+
(X
n+1
) 1

13
Si osservi che se X un codice e Y X allora Y anchesso un codice.
4. TEORIA DEI CODICI 26
Completezza e massimalit.
Definition 4.31. Sia X un codice su A. X massimale se per ogni altro Y
codice su A si ha che X Y = X = Y .
Proposition 4.32. Sia X un codice su A e sia DBP. Se (X) = 1 allora
X massimale.
Dimostrazione. Per ipotesi (X) = 1. Sia Y un altro codice su A e si sup-
ponga X Y , allora (Y ) = (X) + (Y X) = 1 + (Y X). Essendo DBP,
(Y X) > 0, quindi (Y X) + 1 > 1, che assurdo, quindi X = Y , ovvero X
massimale.
Definition 4.33. Sia X A

. X denso f A

u, v A

: ufv X,
cio A

fA

X ,= .
Proposition 4.34. Se X denso e DBP allora (X) < +.
Proposition 4.35. Se X un codice regolare, allora X non denso.
Proposition 4.36. Sia X A

. Se X

denso, allora X completo.


Lemma 4.37. (Lemma di Lyndon-Schtzenberger). Siano f, g A
+
e
h A

tali che fh = hg; allora , A

e n N tali che f = e g = e
h = ()
n
.
Dimostrazione. La dimostrazione procede per induzione su [ h [.
Passo base. [ h [= 0 = h = e quindi f = g; allora poniamo = , n = 0
e = f = g.
Passo di induzione.
Si supponga vera la tesi per un h di una determinata lunghezza.
Per ipotesi abbiamo fh = hg e possono vericarsi, come sempre, due casi
1) [ f [[ h [
2) [ h [>[ f [
Caso 1. Per il Lemma di Levi ( 3.14 a pagina 11): p A

: f = hp = fh =
hph = hg = hph = g = ph.
Dato che ph = g, basta scegliere = h, = p, n = 0.
Caso 2. Per il lemma di Levi z A

: h = fz. Sia z = h

con [ h

[<[ h [.
Questo implica che ffh

= fh

g = fh

= h

g. Essendo [ h

[<[ h [, possibile
applicare lipotesi induttiva e pertanto , e n N : f = , g = , h

=
()
n
. A questo punto non resta che determinare la h: h = fh

= ()(u)
n
=
()
n+1
.
Proposition 4.38. (Proposizione di Marcus-Schtzenberger). Sia X un
insieme non denso e completo, allora DBP (X) 1.
Dimostrazione. Essendo X non denso, per denizione esiste almeno una pa-
rola che non si completa in X ovvero w A

: A

wA

X = . Essendo
X completo, allora X

denso e quindi ogni parola di X

si completa in A

,
quindi f X

si pu considerare la parola wfw che si completa in X

ovve-
ro A

wfwA

,= ; ci implica che u, v A

: uwfwv X

o ancora che
4. TEORIA DEI CODICI 27
n > 0x
1
...x
n
X

u, v A

tali che uwfwv = x


1
...x
n
. Chiaramente non pu
esserci un elemento x tale che w x perch altrimenti w si completerebbe in X.
Questo implica che per w passa almeno una linea di parsing.
Ci implica che w = w
1
w
2
= w
3
w
4
, ovvero w viene suddivisa in due dalla linea
di parsing.
Poich la linea di parsing inizia su w
2
e nisce su w
3
, la parola w
2
fw
3
pu
essere scritta come prodotto di elementi di X, ovvero: w
2
fw
3
X

e inoltre
w
1
PREF(w) = P
w
e w
4
SUFF(w) = S
w
.
Abbiamo dunque wfw = w
1
w
2
fw
3
w
4
w
1
X

w
4
P
w
X

S
w
ed essendo f
arbitraria si pu scrivere w
1
X

w
4
P
w
X

S
w
come wA

w P
w
X

S
w
.
Sia DBP, allora (w) > 0 e inoltre (A

) = + quindi ricordando che


wA

w P
w
X

S
w
, possiamo scrivere
+ = (w
1
A

w) = (w
2
)(A

) (P
w
X

S
w
) = (P
w
)(X

)(S
w
)
Essendo DBP ed essendo P
w
e S
w
degli insieme niti, si hanno due
condizioni importanti:
1) (P
w
) > 0 e (S
w
) > 0
2) (P
w
)(S
w
) < +
Di conseguenza la relazione precedente vera se e solo se (X

) = +, quindi
+ = (X

) = (
+
_
n=0
X
n
)
+

n=0
(X
n
) =
+

n=0
(X)
n
Anch la serie diverga deve valere (X) 1. - c.v.d -
Theorem 4.39. (Secondo Teorema di Schtzenberger). Sia X un codice
su A.
1) Se X un codice massimale, allora X completo.
2) Se X un codice completo e non denso, allora X massimale.
Dimostrazione. (1). Supponiamo per assurdo che X non sia completo, allora
f A

: A

fA

= . Si facciano due ulteriori ipotesi:


a) Card(A) > 1
b) f una parola primaria, cio f ,= uvu con u ,= e u, v A

Sia Y = X f dove f, ribadiamo, la parola che non si completa in X

.
La dimostrazione prosegue in questo modo: si cerca di dimostrare che Y un
codice ottenendo ogni volta un assurdo contraddicendo lipotesi di f come parola
che non si completa in X

. Ci signica che non esiste alcuna parola che non si


completa in X

, quindi X completo.
Vogliamo dunque dimostrare che Y un codice e supponiamo per assurdo che
Y non lo sia aatto; allora y
1
, ..., y
h
, y

1
, ..., y

k
tali che y
1
,= y

1
, y
1
...y
h
= y

1
...y

k
e
y
i
, y

j
Y, i = 1..h, j = 1..k.
Lunico elemento in Y che non in X la parola f. Dunque si possono vericare
tre casi:
1) f non si trova n a sinistra n a destra delluguaglianza y
1
...y
h
= y

1
...y

k
2) f occorre solo a sinistra o solo a destra delluguaglianza;
3) f occorre sia a sinistra sia a destra delluguaglianza, anche pi volte.
Caso 1. Questa situazione implicherebbe che X non un codice, che una
contraddizione;
4. TEORIA DEI CODICI 28
Figura 1. a) Sottocaso 1; b) Sottocaso 2.
Caso 2. Se f occorre solo a sinistra, nella parte destra della uguaglianza ci
sono soltanto elementi di X; questo implica che i y

i
X e quindi si ha
y
1
..y
i1
fy
i+1
...y
h
= y

1
...y

k
con y
1
..y
i1
= u A

, y
i+1
...y
h
= v A

e y

1
...y

k
= x X

, abbiamo quindi
ufv X

. Questa una contraddizione in quanto per ipotesi f la parola che non


si completa in X

.
In modo analogo si mostra il sottocaso di f che occorre solo a destra.
Caso 3. La parola f occorre sia a sinistra sia a destra. Isoliamo le prime
occorrenze di f in modo che tutte le lettere che precedono f appartengono a X

y
1
..y
i1
fy
i+1
...y
h
= y

1
...x

j1
fy

j+1
...y

k
con y
1
..y
i1
= u X

, y
i+1
...y
h
= q Y

, y

1
...y

j1
= v X

e y

j+1
...y

k
=
p Y

, quindi
ufq = vfp
A questo punto possiamo avere due sottocasi.
Sottocaso 1. [ v [[ uf [ (o analogamente [ u [[ vf [)
Per il Lemma di Levi segue che : uf = v che implica che A

fA

,= ;
ci assurdo in quanto per ipotesi f non si completa.
Sottocaso 2. La f si accavalla, ovvero abbiamo f = f
1
= f
2
da cui, per il
lemma di Lyndon-Schtzenberger ( 4.37 a pagina 26) , A

e n N tali che
4. TEORIA DEI CODICI 29
f
1
= , f
2
= e = f
3
= ()
n
. Questo implica che f = f
1
= ()
n
,
ma f primaria, quindi deve essere = . Allora f
1
= = f
2
e = ()
n
;
ci implica che f = ()
n
ma essendo f primaria, abbiamo n = 0 in quanto f
non pu iniziare e nire con ,= . Segue che = , ovvero che non c alcun
accavallamento tra le f e quindi il sottocaso in questione non pu vericarsi.
A questo punto cambiamo lipotesi b) e supponiamo che f non sia primaria.
Allora possiamo costruire g = fb
|f|
tale che b A sia diversa dalla prima lettera di
f
14
. La parola g quindi costruita in modo che:
i)se f non si completa in X

allora g non si completa in X

.
ii)g primaria
Si usa la dimostrazione precedente con il codice X g.
Dimostraiamo la i): se g si completasse in X

allora u, v A

tale che ugv


X

= ufb
|f|
v X

= f si completa in X

.
Dimostraimo la ii): g primaria perch se non lo fosse u, v A

tali che
g = uvu ma per costruzione ci non possibile, poich la prima u inizia con una
lettera diversa da b e la seconda u, per costruzione, pu iniziare a partire da de-
stra con una lettera diversa da b solo dopo [ f [ lettere. Ci signicherebbe che
[ u
dx
[>[ f [ = [ u
sx
[ + [ u [ + [ u
dx
[> 2 [ f [>[ g [ = u
sx
vu
dx
,= g.
(2). Per il teorema di Kraft-McMillan ( 4.30 a pagina 24) abbiamo che X codice
= (X) 1. Per la proposizione di Marcus-Schtzenberger ( 4.38 a pagina 26)
abbiamo che X non denso = (X) 1.
Quindi (X) = 1 e per la proposizione 4.32 a pagina 26, X codice massimale.

Definition 4.40. Siano f, g A

, f si dice coniugata g (f(g) se u, v A

:
f = uv g = vu.
La coniugazione una relazione di equivalenza su A

.
Proposition 4.41. Sia X un codice non denso. Le seguenti aermazioni sono
equivalenti:
1) X completo
2) DBP, (X) = 1
3) DBP : (X) = 1
4) X massimale
Dimostrazione. Per dimostrare la proposizione basta dimostrare che 1) =
2) = 3) = 4) = 1).
1) = 2). X non denso e completo. Per la proposizione 4.38 a pagina 26
questo implica che DBP, (X) 1. Il fatto che X codice, invece, implica
(per il teorema di Kraft-McMillan), che DBP, (X) 1.
Per tanto, DBP, (X) = 1.
2) = 3). Banale.
3) = 4). Per la proposizione 4.32 a pagina 26.
4) = 1). Il fatto che X sia un codice non denso e massimale implica, per il
teorema di Sctzenberger ( 4.39 a pagina 27), che X completo.
14
Esempio: sia f = wxyz e sia b = w, allora g = wxyzbbbb.
4. TEORIA DEI CODICI 30
Proposition 4.42. Sia T la famiglia di tutti i codici su A, T = X

,
con insieme di indici. Allora T possiede la propriet di Zorn: , X


X
+1
= Y =

un codice.
Dimostrazione. Dobbiamo dimostrare che Y un codice, ovvero che
y
i
, y

i
Y : y
1
...y
h
= y

1
...y

k
=
_
h = k
i = 1..h, y
i
= y

i
Ogni y apparterr a un elemento della famiglia, ovvero y
i
, y

i
X

: y
i

X

i
X

. Consideriamo X

= max
_
X

: i : y
i
X

i
X

_
, allora X

contiene tutte gli y


i
e gli y

i
poich X

il massimom rispetto alla catena di inclu-


sione. Ma X

un codice (soddisfa la propriet di fattorizzazione unica), dunque


i, y
i
= y

i
e h = k - c.v.d.
Proposition 4.43. Sia X un codice su A. Allora X ha un completamento se
esiste Y codice massimale su A tale che X Y .
Corollary 4.44. Sia X un codice su A. Se X massimale, allora X
completamento di se stesso.
Problem 4.45. Sia X un codice. Esiste sempre un completamenteo di X?
Problem 4.46. Sias X un codice nito. Esiste sempre un completamento nito
di X?
Problem 4.47. Esiste un algoritmo in grando di decidere se un codice nito
ha un completamento nito?
Definition 4.48. (Ordine lessicograco).
u
lex
v se v uA

oppure
_
u = hX
v = hY
con h A

, x, y A, , A

e
x < y
Example. fatto
lex
fattore
lex
fattorino
Definition 4.49. (Ordine militare).
u
mil
v se [ u [<[ v [ oppure [ u [=[ v [ e u
lex
v
Note 4.50. La relazione di ordinamento di buon ordine: ogni sottoinsieme
ammette minimo.
Proposition 4.51. Sia A un alfabeto nito. Ogni codice su A ammette com-
pletamento.
Dimostrazione. Sia X un codice su A. Se X massimale allora X il
completamento di se stesso.
Sia X, invece, non massimale. Allora w A

: Xw codice. Sia w
1
la pi
piccola parola w in ordine militare tale che Xw
1
codice, allora Y
1
= Xw
1

massimale oppure w : Y
1
w codice. Sia w
2
la pi piccola parola w in ordine
militare tale che Y
1
w
2
codice, allora Y
2
= Y
1
w
2
massimale...
5. TEORIA DELLINFORMAZIONE 31
Continuando il ragionamento si ha X = Y
0
Y
1
Y
2
... Y
n
... con
Y
n
= Y
n1
w
n
.
Sia Z =

n0
Y
n
, per la propriet di Zorn ( 4.42 a pagina 29) Z codice. Resta
da dimostrare che Z massimale.
Supponiamo per assurdo che Z non massimale; allora w tale che Z w
codice. Ora, per come vengono scelte le parole w
i
accade che:
w
1

mil
w
2

mil
...
mil
w
n

mil
...
Dalla denizione di ordine militare e dalla nitezza dellalfabeto A (che implica
che non ci sono innite parole di lunghezza uguale) esister una sottosuccessione di
w
ji
tale che
[ w
j1
[<[ w
j2
[< ... <[ w
jr
[< ...
ovvero le parole w
ji
avranno lunghezza arbitraria.
A questo punto, essendo w una parola nita, esister un k tale che [ w
k1
[[
w [<[ w
k
[
Ma se Z w un codice, allora, essendo Y
k1
contenuto in Z, Y
k1
w
un codice.
Ma w ha lunghezza minore di w
k
; questo porta a un assurdo perch w
k
la pi
piccola parola secondo lordine militare tale che Y
k1
w
k
un codice. Quindi
Z massimale - c.v.d.
5. Teoria dellinformazione
Denizione della sorgente in modo statistico.
Definition 5.1. Sia p DB e Y un alfabeto. Una sorgente denita come
la coppia S = [Y, p] nella quale p(y), con y Y , rappresenta la probabilit che la
sorgente emetta la lettera y.
Definition 5.2. Sia S una sorgente, sia X un codice su A e : Y

A

un
monomorsmo di codica, il costo del morsmo denito come
C(X, ) =

yY
p(y) [ (y) [=

xX
p(x) [ x [
con p(x) = p(
1
(y)).
Chiaramente, un morsmo ha costo minore quando associa codiche pi brevi
a messaggi sorgente pi frequenti.
Definition 5.3. Sia S = [Y, p] una sorgente, diremo che il codice X adattato
a S se esiste una biezione : Y X.
Definition 5.4. Sia X un codice su A e S = [Y, p] una sorgente. Deniamo
costo assoluto di X
C(X) = min C(X, )
5. TEORIA DELLINFORMAZIONE 32
con una qualsiasi biezione
15
Y X.
Con questa denizione il costo non dipende pi dal morsmo .
Proposition 5.5. Sia S = [Y, p] una sorgente e sia C(X) = min C(X, ) : : Y X.
Se C(X) = C(X,
0
) allora x
i
, x
j
X p
i
> p
j
= [ x
i
[[ x
j
[.
Dimostrazione. Supponiamo per assurdo che x
i
, x
j
X : p
i
> p
j
e [ x
i
[>[
x
j
[. Allora possiamo costruire un nuovo morsimo tale che
(y) =
_
_
_

0
(y) se y ,= y
i
, y
j
x
j
se y = y
i
x
i
se y = y
j
con y
i
e y
j
le controimmagini, rispettivamente, di x
i
e x
j
.
Eettuiamo la dierenza tra il costo di
0
e quello di
C(X,
0
) C(X, ) =
=
n

l=1
p
l
[ x
l
[ (

l=1,l=xi,xj
p
l
[ x
l
[ +p
i
[ x
j
[ +p
j
[ x
i
[) =
= p
i
[ x
i
[ +p
j
[ x
j
[ p
i
[ x
j
[ p
j
[ x
i
[=
= p
i
([ x
i
[ [ x
j
[) + p
j
([ x
j
[ [ x
i
[) =
= p
i
([ x
i
[ [ x
j
[) p
j
([ x
i
[ [ x
j
[) =
= (p
i
p
j
)([ x
i
[ [ x
j
[) > 0
ovvero il costo minore di quello di
0
, il che ci porta a un assurdo.
Definition 5.6. Sia S = [Y, p] una sorgente, il codice X adattato a S si dice
ottimale per S se qualsiasi altro codice Z adattato a S ha costo maggiore, ovvero
Z, C(Z) C(X)
Nel seguito dimostreremo che:
(1) esiste sempre un codice presso ottimale
(2) se Card(Y ) = 2 e X ottimale per S allora X massimale
Entropia di una sorgente. Shannon denisce come la misura della quantit
di informazione media associata a un risultato casuale. La base del logaritmo origi-
nariamente utilizzata da Shannon fu quella naturale, tuttavia oggi di uso comune
la base 2 in quanto consente di ottenere dei risultati pi chiari (in particolare, il
valore di entropia ottenuta misurato in bit).
Nel seguito sar utilizzata la base classica scelta da Shannon.
Definition 5.7. Ad ogni sorgente S associata una quantit H(S) detta
entropia della sorgente S
H(S) =

yY
p(y) ln
1
p(y)
=

yY
p(y) ln(p(y))
15
Per la proposizione 3.10 a pagina 10 la biezione : Y X si estende ad un unico morsmo
: Y

.
5. TEORIA DELLINFORMAZIONE 33
In generale lentropia di un sistema stocastico una misura di quanto questo
sistema sia dierente da uno deterministico.
Lentropia verica le seguenti propriet:
(1) H(S) 0;
(a) H(S) = 0 y
0
: p(y
0
) = 1 p(y) = 0, y ,= y
0
(determinismo)
(2) H(S) ln(n) con n = Card(Y );
(a) H(S) = ln(n) y Y, p(y) =
1
n
(tutte le lettere sono equipro-
babili = massimo indeterminismo)
Diseguaglianza di Gibbs.
Proposition 5.8. Siano p e q due distribuzione di Bernoulli su Y tali che q
sia positiva. Allora si ha che

yY
p(y) ln
1
p(y)

yY
p(y) ln
1
q(y)
Luguglianza vericata solo se y Y, p(y) = q(y).
Dimostrazione. Supponiamo inizialmente che anche p sia positiva. Facendo
la dierenza tra primo e secondo membro della diseguaglianza, otteniamo

yY
p(y)(ln
1
p(y)
ln
1
q(y)
) =

yY
p(y)(ln
q(y)
p(y)
)
Dalle propriet dei logaritmi sappiamo che ln(x) x 1, quindi
ln(
q(y)
p(y)
)
q(y)
p(y)
1
Sostituendo questultima allinterno della precedente, otteniamo

yY
p(y)(ln
q(y)
p(y)
)

yY
p(y)(
q(y)
p(y)
1) =

yY
(q(y) p(y)) = 1 1 = 0
quindi

yY
p(y)(ln
q(y)
p(y)
) 0
Luguaglianza si verica quando

yY
p(y)(ln
q(y)
p(y)
) =

yY
p(y)(
q(y)
p(y)
1)
e questo accade se e solo se y Y, q(y) = p(y).
Ora vediamo cosa accade se non si fanno ipotesi restrittive su p. Innanzitutto
dobbiamo eettuare le somme per quei valori di y tali che p(y) ,= 0 e per comodi-
t indicheremo

la sommatoria che esclude automaticamente tali valori, ovvero

yY

yY :p(y)=0
. A questo punto procediamo come in precedenza, eettuando
al dierenza tra le due somme
5. TEORIA DELLINFORMAZIONE 34

yY
p(y) ln
1
p(y)

yY
p(y) ln
1
q(y)
=

yY
p(y) ln
q(y)
p(y)

yY
(q(y) p(y)) 0
Lultimo passaggio giusticato da quanto segue.
Essendo p DB e q DBP, per entrambe deve valere
16
che

yY
p(y) = 1
e

yY
q(y) = 1. Per quanto riguarda p vale ancora

yY
p(y) = 1 poich gli
elementi y esclusi sono quelli per cui p(y) = 0 e pertanto non inciano il risultato
della somma; il discorso diverso per q dove

yY
q(y) 1, dato che q una
distribuzione di Bernoulli positiva e lesclusione dei gi citati elementi incia il
risultato nale della somma.
Si conclude quindi che

yY
p(y)(ln
1
p(y)
)

yY
p(y)(ln
1
q(y)
)
e, ancora una volta, luguaglianza si verica se e soltanto se y Y, p(y) =
q(y).
Propriet dellentropia. Abbiamo gi enunciato precedentemente le proprie-
t dellentropia; ci accingeremo ora alla loro dimostrazione.
Proposition 5.9. H(S) 0.
Dimostrazione. H(S) = 0

yY
p(y)(ln
1
p(y)
) = 0 p(y) =
0 p(y) = 1. Essendo p DB allora

yY
p(y) = 1 e quindi y Y : p(y) = 1 e
y Y : y ,= y, p(y) = 0; in tutti gli altri casi y Y, p(y) < 1 = H(S) > 0.
Proposition 5.10. H(S) ln(n), con n = Card(Y ).
Dimostrazione. Scegliamo q DBP tale che y Y, q(y) =
1
n
. Per la
diseguaglianza di Gibbs otteniamo
H(S) =

yY
p(y) ln
1
p(y)

y Y
ln
1
1/n
=

yY
p(y) ln n = ln n

yY
p(y) = ln n
quindi H(S) ln n.
Theorem 5.11. (Teorema di Shannon). Sia S = [Y, p] una sorgente e sia
X un codice su A adattato a S. Detto il morsmo di codica, allora
C(X, )
H(S)
ln d
con d = Card(A)
Potendo sempre scegliere tale che C(X, ) = C(X) allora, equivalentemente,
vale anche
C(X)
H(S)
ln d
16
Vedere denizione 4.19 a pagina 22
5. TEORIA DELLINFORMAZIONE 35
Il valore minimo raggiunto se e solo se il codice X massimale e in tal caso
y Y, p(y) = d
|(y)|
.
Dimostrazione. Sia q DBP tale che
q(y) =
d
|(y)|

yY
d
|(y)|
con q(y) DB.
Il denominatore, come si pu notare, non dipende dal parametro, ma costante
e lo poniamo, pertanto, uguale ad
=

yY
d
|(y)|
e quindi riscrivo q(y) come segue
q(y) =
d
|(y)|

Per la diseguaglianza di Gibbs,


H(S) =

yY
p(y) ln
1
p(y)

yY
p(y) ln
1
q(y)
ma avendo denito q(y), la diseguaglianza sopra diventa
H(S) =

yY
p(y) ln
1
p(y)

yY
p(y) ln

d
|(y)|
=
=

yY
p(y)(ln ln d
|(y)|
=
=

yY
p(y)(ln + [ (y) [ ln d) =
per e ln d costanti
= ln

yY
p(y) + ln d

yY
[ (y) [ p(y)
Per denizione
C(X, ) =

yY
[ (y) [ p(y)
mentre come abbiamo visto

yY
p(y) = 1
quindi
H(S) ln + ln d C(X, ) =
=
H(S)
ln d

ln
ln d
+ C(X, ) =
=
H(S)
ln d

ln
ln d
C(X, )
5. TEORIA DELLINFORMAZIONE 36
Poich =

yY
d
|(y)|
=

yY
d
|x|

per dis. kraftmcmillan
1, allora ln d
0; questo implica a sua volta che
ln
ln d
0 e quindi
H(S)
ln d
C(X, ).
Per avere lugualianza deve accadere che p q e ln = 0 = 1
(X) = 1 X massimale.
Il teorema di Shannon dimostra che la funzione costo ha un valore minimo in
H(S)
ln d
che viene raggiunto se e solo se il codice massimale. In pi ci fornisce la
forma della distribuzione di probabilit.
Definition 5.12. Sia X A
+
, allora
X un codice presso se X XA
+
=
X un codice susso se X A
+
X =
X un codice bipresso se sia presso che susso
X un codice uniforme se k > 0 : X A
k
Definition 5.13. X codice presso = X

unitario a sinistra.
Definition 5.14. (Ordinamento pressale). Sia A nito, allora
u
p
v (presso di) se h A

: v = uh (oppure v uA

oppure vA

uA

)
u
s
v (susso di) se h A

: v = hu v A

u
u
f
v (fattore di) se h, k A

: v = huk v A

uA

Tali ordinamenti sono relazioni dordine parziale; inoltre


p
transitiva.
Definition 5.15. (Relazione di ricoprimento). u <
p
v se u
p
v e w :
u <
p
w <
p
v.
Definition 5.16. (Alberi di rappresentazione). Sia A un alfabeto di
di cardinalit d. Si pu usare un albero d-ario che rappresenta la relazione di
ricoprimento:
Laltezza del nodo rappresenta la lunghezza della parola.
Proposition 5.17. Sia X un codice su A e sia T
X
lalbero che lo rappresenta.
X presso se e soltanto se i nodi che lo rappresentano sono foglie.
Definition 5.18. Un albero si dice completo se il grado dei suoi nodi interni
uguale a d = Card(A), con A alfabeto.
Definition 5.19. Sia X un codice presso su A. X un codice (presso)
massimale se per ogni Y che sia codice massimale su A si ha che X Y = X =
Y .
Proposition 5.20. Sia X un codice presso su A. Le seguenti aermazioni
sono equivalenti:
1) X un codice presso massimale
2) w A

wA

XA

,=
5. TEORIA DELLINFORMAZIONE 37
Figura 2. Albero di rappresentazione
3) f A

fA

,=
4) Lalbero che rappresenta X completo
Dimostrazione. (1 = 2) Supponiamo per assurdo che esiste w tale che
wA

XA

= , allora linsieme Y = X w un codice presso e X Y , che


contraddice lipotesi di X come codice massimale.
(2 = 3) Ci che ci accingiamo a fare dimostrare che X completo a destra.
Poich vale la 2), preso f A

avremo che u, v A

x X tali che fu = xv.


Applicando il Lemma di Levi, si possono vericare due casi:
a) x = ff
1
= f

,=
b) f = xf
1
Nel caso b bisogna applicare ricorsivamente il ragionamento. Proseguendo os-
serviamo ad ottenere una successione di parole f, f
1
, f
2
, ..., f
i
, ... dove [ f [>[ f
1
[>
... >[ f
i
[. Quindi i :[ f
i
[< min [ x [: x X. Qui la derivazione destra non pu
continuare e avremo:
(3 = 1) Supponiamo per assurdo che X non sia massimale. Questo implica
che f : X f = Y codice.
Per la 3) allora esiste p A

tale che fp X

ovvero fp = x
1
...x
n
con x
i
X.
Per il lemma di Levi possiamo avere due casi: o f presso di x
1
o x
1
presso di f.
In entrambi i casi si otterebbe che X f non pu essere presso, che assurdo.
(1 = 4) Per ipotesi X presso massimale. Supponiamo per assurdo che
lalfabeto che lo rappresenta non sia completo. Allora costruiamo un nuovo codice
aggiungendo il ramo che manca. Il nuovo codice includer il precedente e sar
presso; questo implicherebbe che X non presso massimale, raggiungendo un
assurdo.
(4 = 2) Se lalbero completo, lunica possibilit per wA

che si trovi su
un ramo o nel sottoalbero generato da un nodo.
Definition 5.21. Un codice presso nito nitamente completabile.
Proposition 5.22. Sia X un codice presso non denso. Le seguenti condizioni
sono equivalenti:
1) X massimale come presso
5. TEORIA DELLINFORMAZIONE 38
Figura 3
2) X completo a destra (f A

fA

,= )
3) X completo (f A

fA

,= )
4) DBP (X) = 1
5) DBP : (X) = 1
6) X massimale come codice
Dimostrazione. (1 = 2) Gi dimostrato nella proposizione 5.20 a pagi-
na 36.
(2 = 3) Banale. (A

, fw = x
1
...x
n
e w esiste per la 2))
(3 = 4) Per il teorema di Kraft-McMillan ( 4.30 a pagina 24), essendo X
codice si ha che (X) 1. Dalla proposizione 4.38 a pagina 26, essendo X codice
non denso e completo si ha che (X) 1. Ergo, DBP (X) = 1.
(4 = 5) Banale.
(5 = 6) Per la proposizione 4.32 a pagina 26.
(6 = 1) Se X massimale come codice allora X massimale come presso.

Theorem 5.23. (Teorema di Kraft). Sia f : N N una qualsiasi funzione


tale che f(0) = 0 e

n0
f(n)d
n
1 con d un intero maggiore di zero. Allora
esiste sempre un codice presso X su un alfabeto A di cardinalit d con funzione
di struttura f, ovvero f
X
f.
Dimostrazione. Sappiamo che

n0
f(n)d
n
1, quindi ssato > 0
possiamo scrivere

n=0
f(n)d
n
1 = f()d

+
1

n=0
f(n)d
n
1 =
= f()d

1
1

n=0
f(n)d
n
= f() d

n=0
f(n)d
n
5. TEORIA DELLINFORMAZIONE 39
Figura 4
Poniamo
v() = d

n=0
f(n)d
n
e scriviamo pi compattamente
f() v()
Dimostriamo ora che v( + 1) = d[v() f()].
v( + 1) = d
+1

n=0
f(n)d
+1n
= d(d

n=0
f(n)d
n
) =
= d(d

n=0
f(n)d
n
f()d

) = d(v() f())
Adesso consideriamo lalbero d-ario per costruire il codice presso X tale che
f
X
= f. Sappiamo che f(1) v(1) = d. Possiamo scegliere allora di potare f(1)
nodi. Dai nodi rimanenti (v(1) f(1)) si dipartono d(v(1) f(1)) = v(2) gli. Di
questi ne possiamo potare f(2) v(2). I nodi che restano a un livello sono pressi
per i nodi del livello successivo. Iterando il processo si costruisce un albero che
rappresenta un codice presso avente la seguente struttura:
f
X
(1) = f(1)
f
X
(2) = f(2)
...

5. TEORIA DELLINFORMAZIONE 40
Il teorema di Kraft ci dice che data una qualsiasi funzione tale che soddis la
diseguaglianza di Kraft-McMillan ( 4 a pagina 23), possibile trovare un codice
presso che abbia proprio quella funzione come funzione di struttura.
Corollary 5.24. Sia X un codice su un alfabeto A di cardinalit d > 0. Allora
esiste un codice presso Y su A tale che ha la stessa distribuzione delle lunghezze
(f
X
f
Y
).
Dimostrazione. Se X un codice su A e d = Card(A), allora per la disegue-
glianza di Kraft-McMillan abbiamo

n0
f
X
(n)d
n
1
e f
X
(0) = 0 poich / X. Pertanto, in seguito al teorema di Kraft ( 5.23 a
pagina 38), esiste un codice presso Y tale che f
Y
f
X

Proposition 5.25. Sia S = [Y, p] una sorgente di informazione. Per ogni
codice X su A con d = card(A) esiste sempre un codice presso Z tale che C(X) =
C(Z).
Dimostrazione. Per il corollario 5.24 esiste Z tale che f
X
= f
Z
. Si pu allora
costruire un morsmo : X Z in modo che
[ x [=[ (x) [
con (x) Z
Per denizione di costo abbiamo
C(X) =

xX
p(x) [ x [=

xX
p(x) [ (x) [=

z(X)
p(z) [ z [= C(Z)

Corollary 5.26. Esiste sempre un codice presso ottimale per la sorgente


S = [Y, p].
Proposition 5.27. Sia X un codice su un alfabeto a due lettere e sia esso
ottimale per la sorgente S = [Y, p]. Allora X massimale.
Dimostrazione. Per la proposizione 5.25, esiste un codice Y
2
presso, il cui
costo C(Y
2
) = C(X) e quindi Y
2
ottimale. Lalbero rappresentante Y
2
completo.
Se per assurdo lalbero non fosse completo, essendo un albero binario, esisterebbe
un nodo con un solo glio. Tale nodo pu essere eliminato e si otterrebbe un codice
con un costo minore, il che porterebbe a un assurdo, poich Y
2
ottimale.
Essendo lalbero completo, inoltre, per la proposizione 5.20 a pagina 36, Y
2

presso massimale. In aggiunta, Y
2
ha la stessa distribuzione delle lunghezze di X,
ed essendo Y
2
massimale, si ha:

n0
f
Y2
(n)d
n
= 1 =

n0
f
X
(n)d
n
= 1 = X massimale

5. TEORIA DELLINFORMAZIONE 41
Proposition 5.28. Sia S = [Y, p] una sorgente di informazione. Allora esiste
sempre un codice presso Z su A tale che
H(S)
ln d
C(Z) <
H(S)
ln d
+ 1
con d = Card(A).
Dimostrazione. Dal teorema di Shannon, ricordiamo che se si raggiunto
H(S)
ln d
allora deve essere p(y) = d
|(y)|
quindi log
d
p(y) = [ (y) [ cio [ (y) [=
log
d
1
p(y)
. Consideriamo l(y) = log
d
1
p(y)
| che il pi piccolo intero maggiore o
uguale di log
d
1
p(y)
; possiamo quindi scrivere
log
d
1
p(y)
l(y) < log
d
1
p(y)
+ 1
Allora si avr anche che
log
d
1
p(y)
l(y) > log
d
1
p(y)
1 = d
log
d
1
p(y)
d
l(y)
=
= p(y) d
l(y)
y Y =

yY
d
l(y)

yY
p(y) = 1
Rifacendoci al teorema di Kraft, possiamo scrivere

yY
d
l(y)
come la somma
di una lunghezza per d
n
, quindi esiste un codice presso Z che ha parole di
lunghezza l(y
1
), ..., l(y
n
).
Torniamo ora alla disequazione
log
d
1
p(y)
l(y) < log
d
1
p(y)
+ 1
e moltiplichiamo per p(y) ottenendo
p(y) log
d
1
p(y)
p(y)l(y) < p(y) log
d
1
p(y)
+ p(y)
Se sommiamo rispetto a y otteniamo

yY
p(y) log
d
1
p(y)

yY
p(y)l(y) <

yY
p(y) log
d
1
p(y)
+

yY
p(y)
ovvero
H(S)
ln d
C(Z, ) <
H(S)
ln d
+ 1
con : y l(y).
Se consideriamo il minimo C(Z) otteniamo C(Z) <
H(S)
ln d
+ 1.
Definition 5.29. Data S = [Y, p] una sorgente, associamo ad essa S
n
=
[Y
n
, p
n
], detta sorgente estesa di ordine n, con Y
n
= Y Y...Y
nvolte
e p
n
(l) = p(y
1
)...p(y
n
)
tale che l Y
n
, l = y
1
y
2
...y
n
.
Lemma 5.30. n > 0 si ha che H(S
n
) = nH(S)
5. TEORIA DELLINFORMAZIONE 42
Dimostrazione. La dimostrazione segue per induzione su n.
Passo base. n = 1 = H(S
1
) = H(S) in quanto S
1
= S
Passo di induzione.
H(S
n
) =

zY
n
p(z) ln
1
p(z)
Poich z Y
n
= z = ty con t Y
n1
e y Y . Quindi
H(S
n
) =

tY
n1
,yY
p(t)p(y) ln(p(t)p(y))
1
=

tY
n1
,yY
p(t)p(y)[ln p(t) + ln p(y)] =
=

tY
n1
,yY
p(t)p(y) ln p(t)

tY
n1
,yY
p(t)p(y) ln p(y) =
=

yY
p(y)

tY
n1
p(t) ln p(t)

yY
p(y) ln p(y)

tY
n1
p(t)
Dato che

yY
p(y) = 1 = p(Y ) e

tY
n1 p(t) = 1 = p(Y
n1
) allora si ha
H(S
n1
) + H(S) =
per ipotesi induttiva
(n 1)H(S) + H(S) = nH(S)

Costruzione di un codice presso ottimale: Metodo di Human. Il


metodo di Human riguarda codici su alfabeti a due simboli (A = 0, 1).
Il metodo di Human consente di calcolare, a partire da una sorgente, un
codice presso ottimale. Ricordiamo che il teorema di Shannon ci fornisce un limite
inferiore per il costo di un codice. Intuitivamente il metodo di Human associa alle
lettere meno probabili un codice pi lungo e un codice pi breve alle lettere pi
probabili. Il metodo di Human consiste nella creazione di una successione di
sorgenti nella quale si passa dalla sorgente S
i
alla sorgente S
i+1
collassando in un
unico simbolo i due simboli (elementi dellalfabeto) a cui associata la probabilit
(p(y)) minore. La probabilit del nuovo simbolo introdotto sar data dalla somma
delle probabilit dei due simboli collassati. Il procedimento si itera nch non si
arriva a una sorgente avente due soli simboli.
Example.
SIMB P SIMB P SIMB P SIMB P SIMB P
y
1
0.3 y
1
0.3 y
1
0.3 y
2,3
0.45 y
1,4,5,6
0.55
y
2
0.25 y
2
0.25 y
4,5,6
0.25 y
1
0.3 y
2,3
0.45
y
3
0.2 y
3
0.2 y
2
0.25 y
4,5,6
0.25
y
4
0.1 y
5,6
0.15 y
3
0.2
y
5
0.1 y
4
0.1
y
6
0.05
Per trovare il codice associato si procede in maniera inversa associando i due
simboli dellalfabeto ai simboli dellultima sorgente trovata e man mano che si
procede a ritroso ad ogni simbolo aggregato che si divide.
5. TEORIA DELLINFORMAZIONE 43
SIMB COD SIMB COD SIMB COD SIMB COD SIMB COD
y
1,4,5,6
0 y
2,3
1 y
1
00 y
1
00 y
1
00
y
2,3
1 y
1
00 y
4,5,6
01 y
2
10 y
2
10
y
4,5,6
01 y
2
10 y
3
11 y
3
11
y
3
11 y
5,6
010 y
4
011
y
4
011 y
5
0100
y
6
0101
Dimostrazione della correttezza di Human. Sia X = x
1
, x
2
, ..., x
m1
, x
m

un codice presso ottimale; si ha


1) x, y X p(x) > p(y) = [ x
1
[[ x
2
[
2) I due simboli con minore probabilit, x
m1
e x
m
, hanno la stessa lunghezza
L = max [ x [: x X e possiedono inoltre lo stesso presso di lunghezza L 1.
Supponiamo di dover passare dalla sorgente S alla sorgente S

S =
_
_
y
1
. . . y
m1
y
m
p
1
. . . p
m1
p
m
x
1
. . . x
m1
x
m
_
_
, con X = x
1
, x
2
, ..., x
m1
, x
m
, Y = y
1
, y
2
, ..., y
m1
, y
m

e P = p
1
, p
2
, ..., p
m1
, p
m

=
_
_
y
1
. . . y
m,m1
y
m2
p
1
. . . p
m
+ p
m1
p
m2
x
1
. . . x
m,m1
x
m2
_
_
, con X

= x
1
, x
2
, ..., x
m,m1
, x
m1
,
Y

= y
1
, y
2
, ..., y
m,m1
, y
m2
e P

= p
1
, p
2
, ..., p
m1
+ p
m
, p
m2

Il passaggio da S

a S si ottiene concatenando a x
m
, x
m1
una volta 0 e una
volta 1.
Vogliamo dismostrare che se X

ottimale per S

allora X ottimale per S.


Si considerino i costi di X e di X

:
C(X) =
m

i
p
i
[ x
i
[
C(X

) =
m2

i
p
i
[ x
i
[ +(p
m
+ p
m1
) [ x
m,m1
[
A questo punto, supponiamo per assurdo che X non sia ottimale per S; allora
esiste

X = x
1
, x
2
, ..., x
m1
, x
m
ottimale per S tale che C(

X) < C(X). A partire
da

X possiamo costruire il codice

X

con la procedura di Human al contrario,


togliendo una lettera da x
m
e x
m1
e ottenendo cos il presso comune di lunghezza
L 1, x
m,m1
; pertanto

X

= x
1
, x
2
, ..., x
m,m1
, x
m2
.
La dimostrazione prosegue ora per arrivare a dimostrare che C(

X

) < C(X

),
raggiungendo cos un assurdo, dato che X

supposto ottimale per S

C(

X

) =
m2

i=1
p
i
[ x
i
[ +(p
m
+ p
m1
) [ x
m,m1
[
Ricordando che [ x

m,m1
[=[ x

m
[ 1 =[ x

m1
[ 1 otteniamo
5. TEORIA DELLINFORMAZIONE 44
C(

X

) =
m2

i=1
p
i
[ x

i
[ +p
m1
[ x

m
[ +p
m1
[ x

m1
[ p
m
p
m1
=
=
m

i=1
p
i
[ x

i
[ p
m
p
m1
= C(

X) p
m
p
m1
< C(X) p
m
p
m1
=
=
m

i=1
p
i
[ x
i
[ p
m
p
m1
=
m2

i=1
p
i
[ x
i
[ +p
m
[ x
m
[ +p
m1
[ x
m1
[ p
m
p
m1
=
=
m2

i=1
p
i
[ x
i
[ +p
m
([ x
m,m1
[ +1) + p
m1
([ x
m,m1
[ +1) p
m
p
m1
=
=
m2

i=1
p
i
[ x
i
[ +p
m
[ x
m,m1
[ +p
m
+ p
m1
[ x
m,m1
[ +p
m1
p
m
p
m1
=
=
m2

i=1
p
i
[ x
i
[ +(p
m
+ p
m1
) [ x
m,m1
[= C(X

)
Si giunti dunque a dire che C(

X

) < C(X

) raggiungendo il gi citato assurdo


e quindi X ottimale per S.
Ridardo di decifrazione. In generale anch un messaggio in codice possa
essere decodicato necessario che lintero testo in codice sia trasmesso. In alcuni
casi, per codici particolari, il ritardo di decifrazione pu essere nito.
Definition 5.31. Sia X un insieme di parole su A e sia d un intero maggiore
di zero. Allora X ha ritardo d se si verica la propriet u(d)
x, x

X, xX
d
A

,= = x = x

Tale denizione pu essere interpretata nel modo seguente: supponiamo di avere


una sequenza di lettere da sinistra verso destra. Se riconosiamo una parola x del
codice X, ci basta riconoscere al pi d parole appartenenti al codice X dopodich
si sicuri che la fattorizzazione della sequenza univocamente determinata.
Proposition 5.32. Se X verica u(d) allora X codice.
Dimostrazione. Supponiamo che X non sia un codice, allora x
1
, x

1
, y
1
, ..., y
r
, y

1
, ..., y

s

X tali che x
1
y
1
...y
r
= x

1
y

1
...y

s
con x
1
,= x

1
. Moltiplichiamo ambo i membri per
yy...y
d volte
(con y X) e otteniamo x
1
y
1
...y
r
yy...y
d elementi di X
= x

1
y

1
...y

s
yy...y. Si ha allora che
x
1
X
d
x

1
X

poich vale u(d) = x


1
= x

1
che ci porta a contraddizione.
Proposition 5.33. Se X verica u(d) allora X verica u(d + 1).
Proposition 5.34. Un codice X presso se e solo se X ha ritardo di deci-
frazione pari a zero.
5. TEORIA DELLINFORMAZIONE 45
Theorem 5.35. (Teorema di Even). Sia X un codice nito, X ha ritardo di
decifrazione nito se e solo se esiste n > 0 tale che R
n
=
Questo teorema ci conferisce la facolt di sapere quando un codice nito ha
ritardo di decifrazione nito o innito.
Theorem 5.36. (Terzo Teorema di Schtzenberger). Sia X un codice
massimale nito, allora X presso oppure ha ritardo di decifrazione innito.
Corollary 5.37. Sia S = [Y, p] una sorgente e sia X un codice su un alfabeto
a due lettere ottimale per S. Allora X presso oppure ha ritardo di decifrazione
innito.
Definition 5.38. Sia X un codice. La coppia (u, v) X
+
xX
+
detta coppia
sincronizzante per X
+
e s, t A

suvt X

= su, vt X

.
Definition 5.39. Un codice X si dice sincronizzante se esiste almeno una
coppia sincronizzante per X
+
.
Proposition 5.40. Sia X un codice su A massimale e sincronizzante. Allora
c X
+
: cA

c X

.
Dimostrazione. X codice massimale = f A

fA

,= , cio
ogni parola f si pu completare. Esiste inoltre c X
+
tale che cfc X

.
Sia f A

tale che f = pqfpq


X massimale = X completo = , A

: pqfpqu X

=
p, yfp, q X

=
= qfp X

= pq
c
fpq
c
X

= cfc X

= cA

c X

.
Proposition 5.41. Se X un codice (non denso) tale che c X
+
: cA

c
X

allora X massimale e sincronizzante.


Dimostrazione. Dobbiamo dimostrare che la coppia (c, c) X
+
xX
+
sin-
cronizzante per X
+
. Supponiamo che cc X

allora anche ccc X,


ccc X

e cc X

, quindi ho che c (X

)
1
X X

(X

)
1
= c X

.
Poich c X

e
_
cc X

cc X

allora c X

per il (terzo) teorema di


Schtzenberger; quindi la coppia (, u) X
+
xX
+
sincronizzante per X
+
.
Conseguenza. Se X un codice bipresso, X ,= A massimale = X non
sincronizzante.
Dimostrazione. Se X sincronizzante e massimale, allora c X
+
: cA

c
X

cio f A

cfc X

.
Essendo X presso allora X
+
unitario a sinistra, quindi cfc X

= fc
X

. Ma X anche susso, quindi unitario a destra e quindi f X

= A

= X

= A

= X = A il che assurdo.
Bibliograa
[1] Alberto Facchini, Algebra e Matematica discreta, Zanichelli-Decibel 2000
[2] Rudolf Lidl, Gnter Pilz, Applied Abstract Algebra - Second Edition, Springer-Verlag 1998
[3] Entropia (Teoria dellInformazione),
(http://it.wikipedia.org/wiki/Entropia_(teoria_dellinformazione))
46