Teoria e Tecniche del

Riconoscimento
Fondamenti di Matematica

Cosimo Distante
cosimo.distante@imm.cnr.it

Uno spazio vettoriale lineare X costituito da un insieme di

elementi (vettori) definito su un campo scalare R che soddisfa le
seguenti condizioni:
Siano , x, y, z X

1) x, y X x y X
2) x y y x X (commutativa)
3) ( x y ) z x ( y z )
(associativa)
4) ( ) x ( x)
5) ( x y ) x y
(distributiva)
6) ( ) x x x
7) 0 X ' x X, x 0 x
8) 0,1 0 x 0 1 x 1

Richiami di Algebra lineare

Un vettore a d dimensioni x ed il suo trasposto xt definito da

x1

x2

x
d

x t x1 , x2 , , xd

Dove tutte le componenti possono essere a valori reali.

Matrici
Denotiamo con M una matrice nd (rettangolare) e la sua trasposta Mt di dimensioni dn

m11
m
21

M nd m31

mn1

m12

m1d

m22 m2 d
m32 m3d

mn 2 mnd

Una matrice dd chiamata

Simmetrica se mij=mji
Anti-simmetrica se mij=-mji
In generale una matrice chiamata nonnegativa
se mij 0 i,j

m11
m
12

M td n m13

m1d

m21 mn1
m22 mn 2
m23 mn 3

m2 d

mnd

( A B )T AT B T
( AB) B A
T

Matrici
Matrice Identit:

1 0 0

0 1 0
I

0 0 1

IA AI A

La funzione (oppure il simbolo) delta di Kronecker definito come

1 se i j
ij
0 altrimenti

Matrici

Rango:
Il rango di una matrice
colonne) di A.

An p

il numero massimo di righe linearmente indipendenti (o

Si denota con r(A) il rango della matrice A

Propriet di base:

0 r ( A ) min( p, n )
r ( A) r ( AT )

Se A una matrice quadrata (n=p) allora

r ( A) p se e solo se det( A) 0
r ( A B) r ( A ) r ( B)
r ( AB) min r ( A ), r ( B)
r ( AA T ) r ( A T A) r ( A)

Sia Xp1 e bn1 allora lequazione AX=b

definisce un sistema di n equazioni lineari.
Se n=p e det(A)0 allora lunica soluzione

X A 1b
In generale, il sistema di equazioni ammetter
almeno una soluzione se il rango di A uguale
al rango della matrice aumentata (A,b)

Autovalori - Autovettori
Sia A=[ajk] una matrice quadrata (nn).
Consideriamo

Ax x

con scalare

Se soluzione per qualche x0 allora:

denominato autovalore di A
x denominato autovettore di A
Possiamo riscrivere ( A I )x 0
Cio n equazioni algebriche in n incognite x1,,xn
Per n = 2

a11
a
21

a11 a12
A

a
a
21 22
a12
a22

x1 0
x 0
2

( a11 ) x1
a21 x1

a12 x2

( a22 ) x2

0
0

Autovalori - Autovettori
Si noti che

det( A I)

il determinate caratteristico di A che se nullo allora A

una matrice singolare

a11
det( A I)
a21

a12
a22

( a11 )( a22 ) a12 a21

2 ( a11 a22 ) a11a22 a12 a21 0

1
Soluzione di A
2

( a11 ) x1
a12 x2
a21 x1
( a22 ) x2
x

(1)

x(2)

0
0

Autovalori - Autovettori
Esempio:

Trovare gli autovettori e corrispondenti autovalori della matrice quadrata

4.0 4.0
A

1.6 1.2
Soluzione

1 2

4
4
det( A I)
2 2.8 1.6 0
1.6 1.2

2 0.8

I corrispondenti autovettori sono dati da

( a11 ) x1
a12 x2
a21 x1
( a22 ) x2
Otteniamo per 1= -2

x1 2
x2 1

0
0
x

( 4.0 2.0) x1
4.0 x2
1.6 x1
(1.2 2.0) x2
(1)

2

1

per 2 0.8 x

(2)

0.8

0
0

Possiamo moltiplicare una matrice per un vettore come segue

Mx=y

m11

m21
m
31

m
n1

m12
m22
m32

mn 2

dove
d

yi mij x j
j 1

m1d

m2 d
m3d

mnd

x1

x2

y1

y2

x y
d n

Vettori linearmente indipendenti

Siano x1 , x 2 , , x n un insieme di vettori di uno spazio vettoriale X
Siano a1 , a2 , , an scalari
Se sussiste la seguente relazione
a1x1 a2 x 2 an x n 0 ai 0

x1 , x 2 , , x n

sono linearmente indipendenti

Spanning a Space
Sia X uno spazio vettoriale lineare, e sia u1 , u 2 , , u m un
sottoinsieme di X.
Possiamo dire che il sottoinsieme u1 , u 2 , , u m , spanna cio genera
lo spazio X se e solo se

x X (a1 , , am ) ' x a1u1 amu m

N.B. La dimensione di uno spazio costituito dal numero minimo di
vettori che generano lo spazio

Prodotto Interno (dot-Product)

x

(x, y ) x y x t y xi yi y t x
i 1

Il prodotto interno uno SCALARE!

x xx
t

Diremo che un vettore x normalizzato se x 1

Prodotto Interno (dot-Product)

x

x y || x || || y || cos
t

xy
cos
|| x || || y ||

Perci il prodotto interno una misura di collinearit di due vettori

(concetto di similarit)

xy 0 x y
Dalla diseguaglianza di Cauchy-Schwartz ricordiamo che

x t y || x || || y ||

Ortogonalit
Due vettori x,y sono ortogonali tra loro se (x,y)=0

(x y)

Possiamo estenderlo anche a spazi. Un vettore x di X ortogonale ad

un sottospazio X1 se esso ortogonale ad ogni vettore di X1 (x X1)
Due spazi X1 e X2 sono ortogonali se ogni vettore di X1 ortogonale
ad ogni vettore di X2 (X1 X2)

Dati alcuni vettori linearmente indipendenti come possiamo convertirli

in un insieme di vettori ortogonali che spannano lo stesso spazio?
Ortogonalizzazione di Gram-Schmidt

Sottospazi lineari
n
Se x1 , x 2 , , x n sono n vettori linearmente indipendenti di
Allora ogni sottoinsieme di essi x1 , x 2 , , x k con kn genera un
sottospazio lineare di n
3
Esempi di sottospazi di
lorigine

sono piani e rette passanti per

Proiezione Ortogonale
Se sottospazio di n allora
n
x

qualsiasi vettore arbitrario

pu essere decomposto nella
somma di due vettori:

x x ~
x

x ~
x

x
x
x

~
x

Proiezione ortogonale

Teorema della Proiezione

Di tutte le decomposizioni della forma x x x con x
quella che corrisponde alla proiezione ortogonale soddisfa la seguente:

x minimo

Gram-Schmidt
Supponiamo di avere n vettori indipendenti y1 , y 2 , , y n e da essi si
vogliono ottenere n vettori ortogonali v1 , v 2 , , v n

Scegliamo il primo vettore ortogonale come primo vettore lin. ind.

v1 y 1
Per ottenere il secondo vettore ortogonale v2 scegliamo y2 ma gli
sottraiamo la parte che in direzione di v1
v 2 y 2 av1
Dove a viene scelto in modo che v1v2. Ossia
( v1 , v 2 ) ( v1 , y 2 av1 ) ( v1 , y 2 ) a ( v1 , v1 ) 0
a

( v1 , y 2 )
( v1 , v 1 )

Gram-Schmidt contd
Pertanto continuando il processo si ottiente alla k-esima compoenente
k 1

(vi , y k )
vk yk
vi
i 1 ( v i , v i )

nnd5gs

Misure di distanza di patterns

Vettori osservabili devono essere rappresentati in uno spazio che
possiede una metrica
Introduciamo il concetto di distanza d(x,y) tra coppie di elementi
dello spazio

C1) d ( x, y ) 0
C2) d ( x, y ) d ( y, x)
C3) d ( x, y ) d ( x, z ) d ( z , y )

Distanza Euclidea

x ( x1 , x2 , , xn ) y ( y1 , y2 , , yn )
d E ( x, y )

(x y )
i 1

Distanza di Hamming
Definita per vettori binari, indica il numero di posizioni (elementi)
in cui due vettori differiscono. Le regole C1, C2 e C3 sono valide

Correlazione
Usata per confrontare pattern di segnali, misurandone la loro
similarit.
y y1,y2 , ,yn
Siano x x1,x2 , ,xn
La loro correlazione non-normalizzata data da C

x y
i 1

Oss. Se x e y sono vettori dello spazio Euclideo, allora la correlazione

coincide col prodotto interno
Metodi di correlazione sono adatti a rilevare segnali quasi periodici
contaminati da rumore Gaussiano

Direzione di coseni
Se linformazione rilevante dei pattern o dei segnali da analizzare
contenuta solo nei moduli delle loro componenti, allora la similarit
pu essere misurata in termini di direzione di coseni
Siano

x, y

cos

(x y )
|| x || || y ||

1 best match
cos
0 x e y sono ortogonali
Si noti che se i vettori sono normalizzati ad 1, allora il coseno coincide
con la correlazione

Misura di similarit nella metrica di Minkowsky

Rappresenta una generalizzazione della distanza Euclidea.
Usata per esperimenti di psicologia
Definita come segue

1/

d M ( x, y )

x y
i 1

La distanza city-block
city-block ottenuta per =1

Misura di similarit di Tanimoto

Alcuni risultati hanno mostrato che questa distanza stata efficiente in
alcuni contesti rispetto ad altri. Definita come segue
d T ( x, y )

( x, y )
2

x y ( x, y )

Originariamente introdotta per il confronto di insiemi.

Siano A e B due insiemi non ordinati distinti (non-numerici) di
elementi (per. Es. identificatori o descrittori di documenti, o feature
discrete)
La similarit tra A e B pu essere definita come la variazione del
numero di elementi in comune rispetto al numero totale di elementi.
Sia n(X) il numero di elementi in X allora
n( A B )
dT ( A, B)
n( A) n( B) n( A B )

Misura di similarit di Tanimoto

Usata con successo per valutare la similarit tra documenti
Ciascun singolo descrittore pu essere fornito di un proprio peso.
Per esempio, supponiamo che ik sia il peso del k-esimo descrittore per
li-esimo documento. Allora la similarit di due documenti denotati x i e
xj ottenuta definendo

( xi , x j ) ik jk ij
k

ij
dT ( xi , x j )
ii jj ij

Distanza di Mahalonobis
Le componenti di x e y possono essere generate da un processo
stocastico che definisce una dipendenza statistica tra esse.
Si definisce un prodotto interno come segue

( x, y ) ( x,y )
La distanza data da

d ( x, y ) x y ( x y ) t ( x y )

Con linverso della matrice di covarianza di x e y.

Svantaggi
Il calcolo di per pattern a n dimensioni necessita lacquisizione di un
numero di campioni n2
Il calcolo di prodotti matrice-vettore di gran lunga pi
complesso del prodotto scalare.