2.2 Modello Di Analisi Fattoriale

1 Metodi non supervisionati di analisi:
Il modello di analisi fattoriale esplorativa.
Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Obiettivi delle analisi fattoriali
Le tecniche fattoriali che presenteremo hanno scopo esplorativo e

NON inferenziale. Gli obiettivi principali sono:
Fare emergere le relazioni significative tra gli elementi
esaminati;
Riduzione delle dimensioni di analisi;
Costruzione di dimensioni latenti (non direttamente
osservabili) attraverso un vasto insieme di proxy.

Gli ‘ingredienti’ dell’analisi
Abbiamo bisogno di tre elementi per effettuare un’analisi fattoriale

esplorativa:
1 Una matrice dei dati, X ;
2 Una matrice diagonale di pesi, D;
3 Una matrice che definisca la metrica dello spazio di analisi, M.
Uno studio multidimensionale è, quindi, definito dalla tripla
(X , M, D).

La matrice dei dati X
La matrice dei dati Xn,p descrive un insieme di vettori (riga o
colonna) che a loro volta identificano una nuvola di punti:
La distanza tra coppie di punti

identifica la forma della nuvola dei
punti.
Essa rivela la struttura
dell’informazione racchiusa nei dati.
L’obiettivo è semplificare (cioé
proiettare la nuvola di punti in un
sottospazio ad una dimensione)
preservando al massimo la struttura
originale dei dati.

Analisi per i punti individuo (n punti in uno spazio R p ).
Assumiamo che la metrica sia data dalla matrice identità,

Mp,p = Ip,p , e che la matrice diagonale dei pesi sia anch’essa data
dalla matrice identità Dn ,n = In ,n .

Ricerca del sottospazio ottimo
Supponiamo di avere la seguente nuvola di punti:



Indichiamo con u il versore che identifica la
direzione ottima (IGNOTA) su cui
proiettare la nuvola di punti. Proiettiamo il
vettore rappresentativo del punto Mi
ortogonalmente alla direzione identificata
da u :


da u :


da u :
La direzione ottima è quella in grado di

riprodurre al meglio la norma del vettore
rappresentativo del punto Mi e dei
vettori rappresentativi degli altri punti.

Chiamiamo xi0 il vettore (riga) che rappresenta il punto Mi .

La norma del vettore ottenuto come proiezione ortogonale di xi0
sulla direzione identificata da u si trova effettuando il prodotto
scalare tra xi0 e u , cioé hxi0 · u i = xi0 u .
Chiaramente, poiché abbiamo n vettori, dobbiamo considerare
simultaneamente le norme di tutti i vettori proiettati nel
sottospazio ottimo, cioé Xu (dove X è la matrice dei dati).


Quindi il sottospazio ottimo su cui

proiettare si ottiene massimizzando i
segmenti tipo OHi (oppure
minimizzando Mi Hi ).


Un criterio (comodo per il calcolo delle
derivate) consiste nel massimizzare il
quadrato del segmento OHi2 (oppure
minimizzando Mi Hi2 ).


Un criterio (comodo per il calcolo delle
derivate) consiste nel massimizzare il
quadrato del segmento OHi2 (oppure
minimizzando Mi Hi2 ).
Avendo tanti punti, dovremo
massimizzare ni=1 OHi2 = (Xu )0 Xu .
P

Per trovare il sottospazio ottimo su cui proiettare la nuvola di

punti dobbiamo risolvere il seguente problema di massimizzazione
vincolata:
Max u 0X 0Xu
sub u 0u = 1
La soluzione del problema di massimo vincolato consiste nel porre
pari a 0 le derivate parziali del Lagrangiano:
∂ [u 0 X 0 Xu − λ(u 0 u − 1)]
= 2X 0 Xu − 2λu = 0
∂u
dove λ è il moltiplicatore di Lagrange.

Ciò implica:
2X 0 Xu − 2λu = 0
X 0Xu − λu = 0 (1)
(X 0 X − λI )u = 0 (2)
La soluzione del problema si trova risolvendo la 2.

Ciò implica:
2X 0 Xu − 2λu = 0
X 0Xu − λu = 0 (1)
(X 0 X − λI )u = 0 (2)

Sappiamo che le soluzioni proprie (cioè diverse da quella banale
u = 0) si hanno uguagliando a zero il determinante di (X 0X − λI )
e ricercando le p soluzioni λi dell’equazione caratteristica.

Ciò implica:
2X 0 Xu − 2λu = 0
X 0Xu − λu = 0 (1)
(X 0 X − λI )u = 0 (2)

Ordiniamo le soluzioni (autovalori di X 0 X ) dell’equazione
caratteristica di modo che sia λ1 > λ2 > · · · > λp . A ciascun
autovalore è associato un autovettore.

Ciò implica:
2X 0 Xu − 2λu = 0
X 0Xu − λu = 0 (1)
(X 0 X − λI )u = 0 (2)

Ordiniamo le soluzioni (autovalori di X 0 X ) dell’equazione
caratteristica di modo che sia λ1 > λ2 > · · · > λp . A ciascun
autovalore è associato un autovettore.
La direzione ottima su cui proiettare i punti perdendo il minimo
dell’informazione è quella identificata dall’autovettore, che
chiamiamo u1 , associato al più grande autovalore λ1 .
Ricerca del secondo sottospazio ottimo
Cerchiamo un altro sottospazio appartenente a R 1 la cui direzione

sia ortogonale a quella di u1 . Seguendo un ragionamento analogo
a quello fatto prima, dobbiamo risolvere il seguente problema di
massimizzazione vincolata:
Max u20 X 0Xu2

sub u20 u2 = 1
sub u10 u2 = 0

E quindi:
∂ [u20 X 0 Xu2 − λ(u20 u2 − 1) − γ(u10 u2 )]

∂ u2
=
= 2X 0 Xu2 − 2λu2 − γ u1 = 0 (3)

∂ [u20 X 0 Xu2 − λ(u20 u2 − 1) − γ(u10 u2 )]
= −γ u2 = 0
∂ u1
(4)
La soluzione della (4) è ovviamente γ = 0. Segue che la (3)

diventa:
2X 0 Xu2 − 2λu2 = 0 ⇒ X 0 X − λI u2 = 0


E quindi:
∂ [u20 X 0 Xu2 − λ(u20 u2 − 1) − γ(u10 u2 )]

∂ u2
=
= 2X 0 Xu2 − 2λu2 − γ u1 = 0 (3)

∂ [u20 X 0 Xu2 − λ(u20 u2 − 1) − γ(u10 u2 )]
= −γ u2 = 0
∂ u1
(4)
La soluzione della (4) è ovviamente γ = 0. Segue che la (3)

diventa:
2X 0 Xu2 − 2λu2 = 0 ⇒ X 0 X − λI u2 = 0

Quindi il sottospazio ottimo è identificato dall’autovettore

associato a λ2 che è il secondo autovalore più grande di X 0 X .

Il processo prosegue fino a che non viene identificata la n-sima

componente.
Ciascun sottospazio successivo, riproduce in maniera peggiore del
precedente le norme dei vettori originari. Ne consegue che il primo
sottospazio, quello identificato da u1 , è il migliore in termini di
mantenimento dell’informazione originaria.
L’insieme dei vettori u1 , u2 , · · · , up costituisce la base ortonormale
ottima nel senso della riproduzione dell’informazione di partenza.

Le coordinate dei punti nel nuovo spazio: gli assi fattoriali
Una volta identificato il sottospazio ottimo u1 , u2 , · · · , uα , · · · , ul ,
occorre potere esprimere le coordinate di ciascun punto sulla
direzione identificata dal generico versore uα .
E’ facile capire che la coordinata del punto i-simo è data da:
cα (i) = xi0 uα
e che l’insieme delle coordinate di tutti i punti sull’α-simo fattore è:
cα = Xuα
Una proprietà interessante dei fattori si trova calcolandone la
varianza:
Var (cα ) = uα0 X 0 Xuα = uα0 λα uα = λα uα0 uα = λα

ove il secondo passaggio discende dalla 1.
Analisi per i punti variabile (p punti in uno spazio R n ).
Assumiamo che la metrica sia data dalla matrice identità,

Mn,n = In,n , e che la matrice diagonale dei pesi sia anch’essa data
dalla matrice identità Dp ,p = Ip ,p .

Il ragionamento da fare è identico a quello fatto per i punti

individuo. L’unica differenza è che il complesso delle norme da
riprodurre si riferisce a p vettori (profili colonna) e quindi il
problema di massimo vincolato da risolvere per trovare il primo
sottospazio è:
Max v10 XX 0v1

sub v10 v1 = 1
Ciò equivale a risolvere l’equazione caratteristica che si origina
ponendo pari a zero il determinante della matrice (XX 0 − γ I ).

Il secondo sottospazio ottimo si ottiene risolvendo il problema di
massimizzazione vincolata seguente:
Max v20 XX 0v2

sub v20 v2 = 1
sub v10 v2 = 0
Segue chiaramente che, gli autovettori che identificano la direzione
ottima sono quelli che diagonalizzano la matrice XX 0 .

Le coordinate dei punti nel nuovo spazio
Una volta identificato il sottospazio ottimo v1 , v2 , · · · , vα , · · · , vl ,

occorre potere esprimere le coordinate di ciascun punto sulla
direzione identificata dal generico versore vα .
E’ facile capire che la coordinata del punto j-simo è data da:
cα∗ (j) = xj0 vα
e che l’insieme delle coordinate di tutti i punti sull’α-simo fattore è:
cα∗ = X 0 vα
Analogamente a quanto visto prima la Var (cα∗ ) = γα .

Le formule di transizione
Esiste una relazione tra i risultati trovati in R n ed in R p . Anzitutto
si può dimostrare che gli autovalori sono uguali, cioé λα = γα .
Inoltre la relazione tra gli autovettori nei due spazi è definita dalle
seguenti formule di transizione:
vα = √λ1 Xuα
α
uα = √ X 0 vα
1
λα
Le coordinate dei punti sull’α−simo asse fattoriale sono,
ovviamente:
Cα = λα uα
p
Cα∗ = λα vα
p

Il modello di ricostruzione dei dati
E’ possibile dimostrare che la matrice dei dati Xn,p può essere
ricostruita attraverso semplici operazioni che coinvolgono gli
autovalori λα e gli autovettori uα e vα . L’espressione che consente
la ricostruzione è la seguente:
p
X= λα vα uα0
X p
α=1
Graficamente:
l = √1 ∙ + ⋯ √� ∙ + ⋯ √� ∙
m u’1 u’α
u’p v1 vα vp

Analisi in spazi con metrica e ponderazione qualunque.
Assumiamo che la metrica sia data dalla matrice simmetrica e

definita positiva Mp ,p (oppure Mn ,n ), e che la matrice diagonale
dei pesi sia data dalla matrice Dn ,n (oppure Dp ,p ).

La ricerca del sottospazio ottimale
Per i punti-individuo, il problema di massimizzazione vincolata da

risolvere per identificare il primo sottospazio è:
Max u10 MX 0DXMu1

sub u10 Mu1 = 1
Per i punti-variabile abbiamo invece:
Max v10 MXDX 0Mv1

sub v10 Mv1 = 1

Ovviamente, per i punti-individuo, la matrice di cui calcolare gli
autovettori e gli autovalori è la X 0 DXM mentre per i
punti-variabile è XDX 0 M .
Le coordinate di tutti i punti sull’α-simo fattore sono:
cα = XMuα punti-individuo
cα∗ = X 0 Mvα punti-variabile
La varianza dell’α-simo fattore è:
Var (cα ) = uα0 MXDXMuα = λα punti-individuo

Var (cα∗ ) = vα0 MXDX 0 Mvα = λα punti-variabile
ove la seconda equazione si giustifica ricordando che γα = λα .

Elementi illustrativi
Vi sono elementi che non entrano direttamente nell’analisi (nel
senso che non contribuiscono alla definizione degli assi fattoriali),
ma che possono essere importanti a fini interpretativi.
Le situazioni che si possono presentare sono due, come
rappresentato nella seguente figura:
X X(j+)
X(i+)

Elementi illustrativi
La utilizzazione degli elementi illustrativi avviene trovando le

coordinate degli stessi sugli assi fattoriali identificati utilizzando
solo la matrice X .
E’ intuitivo capire che le coordinate sul fattore α-simo dei punti

illustrativi sono:
cα = X (i+) Muα punti illustrativi-individuo

cα∗ = X 0(j+) Mvα punti illustrativi-variabile

2.2 Modello Di Analisi Fattoriale

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

2.2 Modello Di Analisi Fattoriale

Caricato da

Copyright:

Formati disponibili

1 Metodi non supervisionati di analisi:

Il modello di analisi fattoriale esplorativa.

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Le tecniche fattoriali che presenteremo hanno scopo esplorativo e

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Abbiamo bisogno di tre elementi per effettuare un’analisi fattoriale

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

La distanza tra coppie di punti

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Assumiamo che la metrica sia data dalla matrice identità,

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Supponiamo di avere la seguente nuvola di punti:

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Supponiamo di avere la seguente nuvola di punti:

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Supponiamo di avere la seguente nuvola di punti:

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Supponiamo di avere la seguente nuvola di punti:

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Supponiamo di avere la seguente nuvola di punti:

La direzione ottima è quella in grado di

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Chiamiamo xi0 il vettore (riga) che rappresenta il punto Mi .

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Quindi il sottospazio ottimo su cui

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Quindi il sottospazio ottimo su cui

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Quindi il sottospazio ottimo su cui

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Per trovare il sottospazio ottimo su cui proiettare la nuvola di

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

La soluzione del problema si trova risolvendo la 2.

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

La soluzione del problema si trova risolvendo la 2.

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

La soluzione del problema si trova risolvendo la 2.

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

La soluzione del problema si trova risolvendo la 2.

Cerchiamo un altro sottospazio appartenente a R 1 la cui direzione

Max u20 X 0Xu2

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

∂ [u20 X 0 Xu2 − λ(u20 u2 − 1) − γ(u10 u2 )]

= 2X 0 Xu2 − 2λu2 − γ u1 = 0 (3)

La soluzione della (4) è ovviamente γ = 0. Segue che la (3)

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

∂ [u20 X 0 Xu2 − λ(u20 u2 − 1) − γ(u10 u2 )]

= 2X 0 Xu2 − 2λu2 − γ u1 = 0 (3)

La soluzione della (4) è ovviamente γ = 0. Segue che la (3)

Quindi il sottospazio ottimo è identificato dall’autovettore

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Il processo prosegue fino a che non viene identificata la n-sima

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Var (cα ) = uα0 X 0 Xuα = uα0 λα uα = λα uα0 uα = λα

Assumiamo che la metrica sia data dalla matrice identità,

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Il ragionamento da fare è identico a quello fatto per i punti

Max v10 XX 0v1

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Max v20 XX 0v2

Maria Felice Arezzo mariafelice.arezzo@uniroma1.it

Una volta identificato il sottospazio ottimo v1 , v2 , · · · , vα , · · · , vl ,