Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
FACOLTÀ DI INGEGNERIA
CORSO DI LAUREA IN INGEGNERIA MECCANICA
TESINA
IN
COMPLEMENTI DI PROBABILITÀ E STATISTICA
3 crediti
DOCENTE: STUDENTE:
Introduzione……………………………………………………………………...…….. pg. 3
2 Esempi…......................................................................................…….………..…….... pg. 23
2.1 Esempio n°1 …..............……………………………………………………..… pg.23
2.2 Esempio n°2 …..............………………………………………………….....… pg.28
2
Analisi delle componenti principali
ANALISI DELLE COMPONENTI PRINCIPALI
Introduzione
Lʹanalisi delle componenti principali (detta pure PCA oppure CPA) è una
primo asse, la seconda sul secondo asse e così via. La riduzione della
nuove variabili.
nellʹambito della statistica, in questa tecnica sono gli stessi dati che determinano
i vettori di trasformazione.
autovettori).
Il presente elaborato mira a descrivere tale metodologia dal punto di vista sia
4
Analisi delle componenti principali
1. Descrizione del metodo
r
I dati di partenza vengono organizzati in una matrice, indicata con X :
dove:
5
Analisi delle componenti principali
r
Data la matrice X , che contiene p variabili correlate tra loro, si vuole
r
ottenere una matrice di nuovi dati Y , composta da p variabili incorrelate tra
loro, che risultano essere combinazione lineare delle prime. E quindi si ha:
r r
Y= LX
(1.1)
( p × p) = ( p × p) ( p × p)
in forma estesa è:
r
Una generica componente di Y , ad esempio la prima, si esprimerà come:
p p p
r
Y1 = (Y11 , Y12 ,K , Y1p ) = ∑ l1i X i1 , ∑ l1i X i 2 ,K , ∑ l1i X ip = l1T X (1.3)
i =1 i =1 i =1
r
In sintesi, si ha che l’i-esima componente di Y è data da:
r
Yi = l iT X (1.4)
r r
Var(Yi ) = li T Σ li (1.5)
r r
Cov(Yi , Yj ) = li T Σ l j (1.6)
6
Analisi delle componenti principali
r
Il vettore multivariato Y = (Y1 Y2 K Yp ) T è tale che il primo elemento Y1
dopo la prima componente, e così fino a Yp che tiene conto della più piccola
(1.5), ossia:
r r
Var(Yi ) = li T Σ li
Occorre però porre un vincolo sul vettore dei coefficienti. Supponendo di aver
r
trovato un vettore l1 che massimizzi la varianza di Y1 , tale varianza potrà essere
r
ulteriormente incrementata utilizzando anziché il vettore l1 appena trovato, un
r
nuovo vettore c l1 , con c > 1 . Con tale ragionamento si otterranno un’infinità di
7
Analisi delle componenti principali
Per individuare la prima componente principale bisognerà risolvere il seguente
covarianza
Langrange:
r r r r
P = li T Σ li − λ ( li T li − 1)
r
Massimizzare la funzione obiettivo rispetto a li significa trovare l’opportuno
r
vettore di pesi da assegnare alle variabili presenti nella matrice X in modo tale
variabilità totale, Σ .
Lagrangiana:
∂P r r r
r = 2Σ li − 2λ li = 2(Σ − λI ) li = 0 (1.8)
∂ li
8
Analisi delle componenti principali
dove I è la matrice identità.
ovvero:
det(Σ − λI ) = 0 (1.9)
Le soluzioni della (1.9) sono gli autovalori della matrice Σ , per cui la
λ1 ≥ λ 2 ≥ K ≥ λ p ≥ 0
r
Presa la massima soluzione λ1 della (1.9), si troverà il vettore l1 corrispondente
r
( Σ − λ I ) l1 = 0 (1.10)
e quindi:
r r
Σ l1 = λ 1 l1 (1.11)
r
Moltiplicando entrambi i membri della (1.11) per l1T , si ha:
rT r r r
l1 Σ l1 = λ 1 l1 T l1
9
Analisi delle componenti principali
r
essendo il vettore l1 di norma unitaria, si ottiene:
rT r
l1 Σ l1 = λ 1 = Var ( Y1 )
procedimento analogo che dovrà tener conto delle componenti già valutate.
r r
Yi = e iT X con i = 1,2 ,K , p
i ≠ j.
P P
y COROLLARIO 1: σ 12 + σ 22 + L + σ P2 = ∑ Var(X ) = λ
I =1
i 1
+ λ 2 + L + λ p = ∑ Var(Yi )
I =1
P
dove: Æ ∑ Var(X ) è la varianza totale della popolazione;
I =1
i
P
Æ ∑ Var(Y ) è la varianza totale delle componenti principali.
I =1
i
10
Analisi delle componenti principali
Tale corollario sta ad indicare che la varianza dei dati di partenza si
r r
a) Per ogni i ≠ j , si ha che Yi ⊥ Yj , il che equivale alla condizione li T l j = 0
si ha Cov(Yi , Yj ) = 0 , per i ≠ j .
∑ λi = tr(Σ) = ∑ σ i2 .
i =1 i =1
∑λ
i =1
i = tr( R) = p .
∏λ
i =1
i = det(Σ)
oppure
p
∏λ
i =1
i = det(R) , se si lavora con la matrice di correlazione.
11
Analisi delle componenti principali
e) Le componenti principali non sono indipendenti dall’unità di misura
reali.
nulli.
Bisogna a questo punto aprire una parentesi sul rango della matrice Σ . La
r
matrice di covarianza Σ ha lo stesso rango della matrice dei dati X ed è
simmetrica, per cui il suo rango sarà pari al numero di autovalori non nulli.
12
Analisi delle componenti principali
y Se qualche autovalore risulta nullo (poniamo p − k autovalori nulli), allora
I criteri adoperati per la scelta del numero di componenti sono tre (Criteri
Euristici), e sono:
λ1 + L + λ k
≈ 80 − 90% (1.12)
λ1 + λ 2 + L + λ p
13
Analisi delle componenti principali
dove il numeratore rappresenta la varianza delle prime k componenti
componenti principali.
della spezzata.
principali da utilizzare sarà dato dal più piccolo k tale che a sinistra di
decrescente.
14
Analisi delle componenti principali
1.6 Standardizzazione delle variabili d’origine
Spesso può accadere che i dati d’origine, che si hanno a disposizione, siano
dei sottocampioni molto diverse. In tali condizioni, non è possibile lavorare con
X1 − µ 1 X 2 − µ 2 Xp − µp
, ,K ,
σ1 σ2 σp
varianza unitaria.
Σ Z = RX (1.13)
di correlazione, R .
d’origine.
15
Analisi delle componenti principali
1.7 Interpretazione delle componenti principali
variabili “latenti” (dette così in quanto non è possibile effettuare una diretta
Si è detto che ogni componente principale si può esprimere nel seguente modo:
Yi = l i1 X1 + l i 2 X 2 + L + l ip X p con i = 1,2 ,K , p
più grande è l ij (in valore assoluto), tanto maggiore sarà il peso che i valori X j
componente principale Yi .
λi
rYi X j = Corr(Yi , X j ) = eij (1.14)
σj
16
Analisi delle componenti principali
dove la (1.14) rappresenta il coefficiente di correlazione, e e ij è un autovettore.
È chiaro che più il valore di tale coefficiente è elevato tanto maggiore sarà il
Inoltre, questo tipo di analisi può essere compiuta anche graficamente, ovvero:
17
Analisi delle componenti principali
1.8 Interpretazione geometrica delle componenti principali
r
Dal punto di vista geometrico, la matrice dei dati X è rappresentabile come
p
p punti nello spazio dimensionale R . Si è ampiamente detto che la PCA mira
tale da avere sul primo asse ( Y1 ) la massima variabilità del sistema, sul secondo
si ha una varianza inferiore alla prima ma massima rispetto alle altre, e così via.
KKKKKKKKK
di quanto detto.
18
Analisi delle componenti principali
IMMAGINE 2: Si riporta il piano delle due componenti principali scelte.
19
Analisi delle componenti principali
IMMAGINE 3: Rappresentazione visiva della perdita di informazione relativa
20
Analisi delle componenti principali
1.9 Le componenti principali nel caso di campione multivariato
gaussiano
c =∑
2
p
(er x) i
T 2
=∑
p
yi 2
(1.15)
i =1 λi i =1 λi
principali, equivale a ruotare gli assi coordinati fino a quando essi coincidono
con gli assi dell’ellissoide di concentrazione costante. Per cui, per un campione
21
Analisi delle componenti principali
1.10 Sintesi delle caratteristiche delle componenti principali
sintetizzare: λ1 ≥ λ 2 ≥ K ≥ λ p ≥ 0 ;
∑ Var(X ) = ∑ Var(Y ) ;
I =1
i
I =1
i
r r
y Inoltre, se si ha λi ≠ λ j , allora e i ⊥ e j . Se λi = λ j , allora è sempre
r r r r
possibile scegliere e i e e j tali che e i ⊥ e j .
22
Analisi delle componenti principali
2. Esempi
2.1 Esempio n° 1
hanno espresso opinioni sul tipo di contenuto e sul modo in cui sono state
scritte delle opere dei scrittori indicati in base ai parametri riportati (vedi tab. 1):
X1: giudizio, X2: leggibilità, X3: politica, X4: fantasia, X5: rilettura, X6: thriller,
23
Analisi delle componenti principali
Mediante il comando “correlazione” di Excel, si ottiene la seguente matrice di
correlazione:
seguito:
24
Analisi delle componenti principali
Autovalori della matrice di correlazione
3.2778 0 0 0 0 0 0
0 1.7679 0 0 0 0 0
0 0 0.6649 0 0 0 0
0 0 0 0.5978 0 0 0
0 0 0 0 0.4911 0 0
0 0 0 0 0 0.1142 0
0 0 0 0 0 0 0.0863
A questo punto, bisogna adoperare uno dei tre criteri euristici per la
cumulate:
percent cumulata
λ1 3.2778 46.83% 46.83%
λ2 1.7679 25.26% 72.08%
λ3 0.6649 9.50% 81.58%
λ4 0.5978 8.54% 90.12%
λ5 0.4911 7.02% 97.14%
λ6 0.1142 1.63% 98.77%
λ7 0.0863 1.23% 100.00%
tot 7.0000 100%
25
Analisi delle componenti principali
Si può notare come gli autovalori λ i siano ordinati in maniera decrescente ed
Dalla tabella 5, si evince che i primi due valori delle λ i ricoprono il 72% della
all’81,58%.
(2.1)
rilettura.
26
Analisi delle componenti principali
y 2° CRITERIO: Secondo la regola di Kaiser, andrebbero presi i primi due
λ1 3.2778
λ2 1.7679
λ3 0.6649
λ4 0.5978
λ5 0.4911
λ6 0.1142
λ7 0.0863
cambiamento di pendenza.
3.50
3.00
2.50
2.00
1.50
1.00
0.50
0.00
1 2 3 4 5 6 7
componenti principali sono solo due, e sono quelle indicate dalle (2.1).
27
Analisi delle componenti principali
2.2 Esempio n° 2
Eʹ stata impostata una prova di confronto tra erbicidi per il diserbo chimico
riportati in tabella:
Phenmedipham E 5 7 28 3 10 1
+ etophumesate
+ chloridazon
Phenmedipham F 11 9 33 7 10 6
+ etophumesate
+ metamitron
Phenmedipham G 8 13 33 6 15 15
+ desmedipham
+ ethofumesate
Phenmedipham H 18 5 33 4 19 12
+ desmedipham
+ ethofumesate +
chloridazon
Phenmedipham I 6 6 38 3 10 6
+ desmedipham
+ ethofumesate +
metamitron
28
Analisi delle componenti principali
Mediante Excel, si valuta la matrice di correlazione:
Con l’ausilio del software Matlab, si valutano gli autovalori e gli autovettori:
29
Analisi delle componenti principali
Si applicano, ora, i tre criteri di scelta del numero delle componenti
principali:
percent cumulata
λ1 3.8580 64.30% 64.30%
λ2 0.9366 15.61% 79.91%
λ3 0.6750 11.25% 91.16%
λ4 0.3039 5.07% 96.23%
λ5 0.1920 3.20% 99.43%
λ6 0.0344 0.57% 100.00%
tot 6.000 100%
−0.4128( polav)
+0.4521( polav)
(2.2)
30
Analisi delle componenti principali
− Componente Y2 : tiene conto principalmente delle seguenti specie infestanti:
chepo e amare.
λ1 3.8580
λ2 0.9366
λ3 0.6750
λ4 0.3039
λ5 0.1920
λ6 0.0344
tot 6.000
cambiamento di pendenza.
4.50
4.00
3.50
3.00
2.50
2.00
1.50
1.00
0.50
0.00
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6
31
Analisi delle componenti principali
Poiché due metodi su tre restituiscono lo stesso risultato, si decide che le
componenti principali sono solo due, e sono quelle indicate nella (2.2).
32
Analisi delle componenti principali
Appendice – Alcune definizioni
[ ( )] [ ]
cov( X i , X j ) = σ Xi X j = E (X i − µ Xi ) X j − µ X j = E X i X j − µ Xi µ X j
La covarianza è una misura della relazione lineare tra due variabili aleatorie.
σ 12 cov( X1 , X 2 ) L cov( X1 , X p )
cov( X 2 , X1 ) σ 22 L cov( X 2 , X p )
M M O M
cov( X p , X1 ) cov( X p , Y2 ) L σ p2
è così definito:
1 n
s ij = ∑ ( xik − xi• )( x jk − x j• )
n − 1 k =1
cov( X i , X j ) σXX
ρ= =
i j
Var( X i )Var( X j ) σX σX
i j
33
Analisi delle componenti principali
MATRICE DI CORRELAZIONE: Misura il grado di correlazione lineare tra due
variabili.
1 ρ 12 L ρ 1p
ρ 21 1 L ρ2p
M M O M
ρ p1 ρ p2 L 1
è così definito:
sij
rij =
sii s jj
34
Analisi delle componenti principali