Sei sulla pagina 1di 4

Il concetto di attendibilit della teoria classica un concetto

Applicazioni specifiche del concetto di attendibilit

generale sotto la cui ala possono trovarsi molteplici applicazioni a seconda delle esigenze e dei casi specifici. LE PRINCIPALI APPLICAZIONI SONO:
Tab. 6.1. Diverse applicazioni dellattendibilit e loro caratteristiche
Tipo di attendibilit Test-retest (o stabilit) Principali fonti derrore Cambiamento nelle risposte dei partecipanti nel tempo e/o nelle situazioni di testing Differenze nel campionamento del contenuto tra forme diverse dello strumento Procedura Testa i soggetti in momenti differenti con lo stesso strumento Testa i soggetti nello stesso momento con due forme diverse dello strumento che misurano lo stesso contenuto Testa i soggetti nello stesso momento con molti item Aspetti di generalizzabilit Momenti diversi Analisi statistica Correlazione di Pearson o intraclasse

Forme parallele o equivalenti

Forme diverse dello strumento

Correlazione di Pearson o intraclasse

Eterogeneit del contenuto e bassa corrispondenza del contenuto degli item con il costrutto Disaccordo tra giudici Diversi osservatori Accordo tra giudici codificano o valutano (consistenza interna) e errori di codifica la stessa cosa nella stessa situazione in momenti simili a) Consistenza interna b) Split-half

Item diversi

a) di Cronbach b) correlazione tra le due met (SpearmanBrown corretto) a) K di Cohen b) di Cronbach

Osservatori, valutatori, giudici

[Fonte: modificato da John e Benet-Martnez 2000]

1] (alfa) di Cronbach
Cronbach, L.J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334.

Scala di Estroversione composta da 8 item (da Big Five)


Indichi accuratamente quanto la descrive laggettivo che segue: 5 Socievole 5 Silenzioso 5 Estroverso 5 Loquace 5 Introverso 5 Timido 5 Assertivo 5 Chiuso Fig. 6.6. Un esempio di una misura di Estroversione dei Big Five con risposte fittizie.
per nulla poco mediamente molto moltissimo

uno degli indici pi usati in psicologia (in

particolare, sociale) per le scale di misura di atteggiamento e personalit; richiede (relativamente) poco sforzo (rispetto per esempio alle forme parallele); un indice chiaro e comprensibile:

la sua computazione e la sua formula sono intuitivi SPSS ed altri programmi lo forniscono con molte facilities
3

METODO SPLIT-HALF:
Dopo aver somministrato la scala ad un campione numeroso di soggetti, la scala viene divisa a met (4 item e 4 item) e per ogni soggetto vengono calcolati due punteggi (la somma o la media dei primi 4 item e dei secondi 4 item). Si esegue infine la correlazione tra le due met (Spearman-Brown (Dati fittizi su 10 S. Spearman-Brown = ,9187) corretto).

METODO DI CRONBACH:
Generalizzazione dellattendibilit split-half. SEMPLIFICANDO: Si procede come nello split-half, ma si fanno tutte le possibili divisioni a met e per ciascuna di esse si calcola lattendibilit. Infine si fa la media di tutte queste possibili attendibilit ricavate. Perci, l di Cronbach: la media delle intercorrelazioni tra tutte le possibili divisioni a met del test. Nella prassi di Cronbach si valuta cos: <.60 problematico >.70 sufficiente (Nunnally, 78) .60-.70 appena sufficiente .70-.80 discreto .72 accettabili .80-.90 buono .88 alti >.90 ottimo/eccellente
5

Formula (alfa) di Cronbach


k i2 k i =1 1 = k 1 t2

in cui: k= numero di item i2= varianza di ciascun item t2= varianza totale del test

Esprime una misura del peso relativo della variabilit associata agli item rispetto alla variabilit associata alla loro somma.
6

Scala di Estroversione composta da 8 item (dati fittizi su 10 soggetti, SPSS)

Scala di Estroversione composta da 8 item (dati fittizi su 10 soggetti, SPSS)


R E L I A B I L I T Y N of Cases = Statistics for Scale 10,0 Mean 22,2000 Variance 73,9556 Std Dev 8,5997 N of Variables 8 A N A L Y S I S S C A L E (A L P H A)

Reliability Coefficients Alpha = ,9176


Item-total Statistics Scale Mean if Item Deleted VAR00002 VAR00003 VAR00004 VAR00005 VAR00006 VAR00007 VAR00008 VAR00009 19,9000 19,8000 17,3000 19,6000 20,0000 19,9000 19,4000 19,5000

8 items Standardized item alpha =

,8539

Scale Variance if Item Deleted 49,2111 56,8444 77,1222 53,3778 55,5556 58,9889 56,4889 50,7222

Corrected ItemTotal Correlation ,9611 ,8889 -,5881 ,8871 ,7888 ,7648 ,6098 ,9309

Squared Multiple Correlation ,9873 ,9895 ,8882 ,9900 ,9540 ,8540 ,8451 ,9876

Alpha if Item Deleted ,8845 ,8958 ,9477 ,8927 ,9016 ,9049 ,9197 ,8878

Formula profetica di Spearman-Brown

In realt, le valutazioni pratiche di sulla base delle indicazioni viste non sono teoricamente fondate, in quanto dipende da due fattori:
1. 2.

La formula profetica di Spearman-Brown

intercorrelazioni tra gli item lunghezza della scala (numero di item)

Infatti, a parit di condizioni, allaumentare del numero degli item, aumenta il valore del coefficiente di attendibilit. Perci, per esempio, basterebbe aumentare il numero di item di una scala che ha un coefficiente sufficiente per ottenerne uno buono. 9

permette di stimare lattendibilit di un test allaumentare del numero degli item (o, di converso, stimare quanti item devono essere aggiunti per ottenere una certa attendibilit) n rtt rntt = 1 + (n 1) rtt in cui: rntt = attendibilit prevista rtt = attendibilit del test n = rapporto (n item finale)/(n item iniziale)

10

Formula profetica di Spearman-Brown


n rtt rntt = 1 + (n 1) rtt
Nel nostro caso N = 8 e rtt = .9176. Possiamo sapere quale sarebbe lattendibilit della nostra scala utilizzando solo 4 item (n= 4/8=.5) oppure 16 item (n=16/8=2).
VAR00009 VAR00002 VAR00003 VAR00004 VAR00005 VAR00006 VAR00007 VAR00008 VAR00009

dipende anche dalle intercorrelazioni tra gli


VAR00002 1,0000 ,9140 -,5797 ,9118 , 8449 ,7086 ,6541 ,9489

item

VAR00003

VAR00004

VAR00005

VAR00006

VAR00007

VAR00008

1,0000 -,4789 ,9666 ,7581 ,6368 ,4560 ,9182

1,0000 -,3440 -,7035 -,5152 -,4774 -,5157

1,0000 ,7669 ,6836 ,4415 ,8827

1,0000 ,7812 ,4612 ,6896

1,0000 ,6273 ,6666

1,0000 ,7181

Se perci per misurare lestroversione utilizzo solo item relativi

.5 .9176 = .8478 rntt = 1 + (.5 1) .9176

con 4 item

rntt =

2 .9176 = .9570 1 + (2 1) .9176

con 16 item
11

ad andare alle feste (Mi piace andare alle feste, Alle feste mi diverto molto, Alle feste non mi diverto per niente, Preferisco andare ad una festa che andare al cinema) sto di fatto misurando la stessa variabile con una forma leggermente diversa ed ovvio che, in queste condizioni, le loro correlazioni siano altissime e questo, di conseguenza, gonfi lattendibilit. Coefficienti alti di queste scale non solo non sono una garanzia di attendibilit, ma anzi indicano unestrema ristrettezza del contenuto del costrutto (enfatizzano lestroversione legata alla feste e non lintroversione in altri costrutti). 12

Questo comporta DUE PROBLEMI: 1) IL PARADOSSO DELLATTENUAZIONE:

incrementare oltre ogni limite la consistenza interna di un test non aumenta necessariamente la validit di costrutto (anzi la pu limitare, come nel caso precedente) leccessivo restringimento del contenuto della scala (es., piacere di andare alle feste), se anche permette di predire comportamenti specifici (alta fedelt), come andare alle feste, probabilmente non correla con nientaltro di interesse psicologico; leccessivo allargamento del contenuto (es., generico atteggiamento di apertura sociale) ha un grosso potere predittivo rispetto a costrutti psicologicamente rilevanti, a spese per di comportamenti specifici (bassa fedelt). Dato che aumentando la prima diminuisce laltra, e viceversa, il ricercatore si trova costantemente di fronte al dilemma di rinunciare alluna a favore dellaltra:
Alt fedelt, ma basso interesse psicologico (alta predittivit ma psicologicamente irrilevante) Bassa fedelt, ma alto interesse psicologico (bassa predittivit ma psicologicamente rilevante)

2] Il K di Cohen
Cohen, J.A. (1960). Coefficient of agreement for nominal scales. Education and Psychological Measurement, 20, 37-46.

2) DILEMMA DELLA LARGHEZZA DI BANDA:

uno degli indici pi usati quando ci sono

due o pi valutatori, giudici, codificatori, osservatori che eseguono una codifica; impegnativo perch necessario addestrare due codificatori codificatore; un indice chiaro e comprensibile:

la sua computazione e la sua formula sono intuitivi si basa su una tabella che estremamente intuitiva
14

13

Interaction Process Analysis (I.P.A.) con 12 categorie


1. Si mostra amichevole A. Azioni positive 2. Drammatizza 3. E daccordo 4. D consigli B. Risposte 5. Esprime opinioni 6. D informazioni
a b c d e Dimensioni organizzate f in coppie opposte o reciproche LEGENDA AREE: A. Area socio-emotiva positiva B. Area mirata al compito neutrale C. Area mirata al compito neutrale D. Area socio-emotiva negativa DIMENSIONI: a. comunicazione b. valutazione c. controllo d. decisione e. riduzione della tensione f. reintegrazione

Matrice di confusione (accordo)


O2 c d

a a b O1 c d e f

7. Richiede informazioni C. Domande 8. Richiede opinioni 9. Richiede suggerimenti 10. E in disaccordo D. Azioni negative 11. Manifesta tensione 12. Si mostra ostile Fig. 6.7. Interaction Process Analysis di Bales [1970].

O1 D B B D A D D A D D A C B D D A C A C A A B C C A O2 D B B D D D C A D D A C A D D A C D C A B B C D A

15

16

Percentuale di accordo:

Matrice di confusione (accordo)


a a 9 3 3 0 0 2 17 b O1 c d e f b 0 3 0 0 1 0 4

O2 c 5 3 6 0 3 0 17 d 0 0 0 15 0 1 16 e 0 5 0 1 7 0 13 f 2 0 0 0 0 2 4 16 14 9 16 11 5 71

accordi a

a b O1 c d disaccordi a-c e f tutti i disaccordi

a 9 3 3 0 0 2 17

b 0 3 0 0 1 0 4

O2 c 5 3 6 0 3 0 17

Percentuale di accordo (o Indice di concordanza) la soluzione tradizionale al problema dellaccordo

accordi d e f per ciascun categoria 0 0 2 16 0 5 0 14 0 0 0 9 15 1 0 16 0 7 0 11 1 0 2 5 17 16 13 4 71

Indice di concordanza =

Accordi = Accordi + Disaccordi

x x +x
ij i= j ij i= j i j

x
i= j

ij

ij

42 = .59 71

In realt,la percentuale di accordo dipende anche da fattori estranei allattendibilit, come:


1.Numero di codici utilizzati 2.Frequenze marginali della

tabella

18

Risoluzione Problemi della percentuale:


Se un sistema di codifica ottiene la stessa percentuale di

Cohen ha scoperto che questi problemi sono dovuti

accordo di un altro sistema di codifica, ma possiede un numero diverso di categorie, allora non detto che i due sistemi abbiano realmente la stessa attendibilit. Un sistema di codifica con percentuale di accordo pi alta di un altro, ma con numero di codici diversi, non significa che sia realmente pi attendibile. Se lo stesso sistema di codifica, con lo stesso numero di categorie, viene utilizzato in due ricerche diverse, che hanno frequenze marginali diverse nella matrice di confusione (cio probabilit semplici di accadimento delle categorie diverse), le due percentuali di accordo non possono essere confrontate. PERCI,

al fatto che la percentuale gonfiata dal cosiddetto accordo dovuto al caso ACCORDO DOVUTO AL CASO:

Accordo che otteniamo, stante quelle frequenze marginali, se chiediamo ai due osservatori di nominare a caso una sfilza di categorie, senza vedere alcuna interazione. Infatti in alcuni casi, per il mero effetto del caso, i due osservatori andranno daccordo. Cohen ha trovato un modo per calcolare questo accordo dovuto al k caso (o valori attesi):

AC =

x
i =1

+i i + 2

Basta poi sottrarre dalla componente di accordo della Percentuale di accordo questa ulteriore componente di accordo dovuto al caso.

19

K=

AO AC AO AC + D

20

K di Cohen:
O2 16 14 9 16 11 5 71 a a b O1 c d e f 9 3 3 0 0 2 17 b 0 3 0 0 1 0 4 c 5 3 6 0 3 0 17 d 0 0 0 15 0 1 16 e 0 5 0 1 7 0 13 f 2 0 0 0 0 2 4

Vantaggi del K di Cohen (rispetto allIndice di concordanza):


corretto; un vero indice di attendibilit (rapporto tra varianza vera e

varianza totale);
confrontabile tra studi diversi (anche se le frequenze

marginali della tabella sono diverse);


confrontabile per sistemi di categorie con categorie

Indice di concordanza =

Accordi = Accordi + Disaccordi

x x +x
ij i= j ij i= j i j

x
i= j

diverse;
= 42 = .59 71

ij

pu essere calcolato per lunit di codifica, per il sistema di

ij

categorie, per ciascuna categoria;


pu essere pesato se la variabile ordinale; permette lindividuazione degli errori; osservando la matrice

x x

K di Cohen =

( Accordi Acc. caso) = ( Accordi Acc. caso) + Disaccordi

i= j

ij

N 1

i= j

i+ + j

N2
i+ + j

= .50
21

di confusione;
pu essere testato per la significativit.
22

N2

Esempio:
A

O2 A 42 3 0 0 45 B 0 21 4 0 25 C 0 2 18 0 20 D 1 0 1 31 33 Tot. 43 26 23 31 123 (N)

Valutazione del K di Cohen:


1) Significativit. Il test di significativit

Calcoli per laccordo relativi alla matrice di confusione: P Accordo osservato (AO) =

B O1 C D Tot.

i = j =1 k

ij

N= N=

112 = .91 123 11 = .09 123


2

non importante.
2) Grandezza. Varia da 0 a 1.
ComKappa Fleiss (1981): .40 .60 .60 .75 .75 1.0 media (fair) buona (good) ottima (excellent)

P Disaccordo osservato (D) = P Accordo dovuto al caso (AC)=

i j =1 ?

x
k

ij

x
i =1

+i i +

45 43 + 26 25 + 23 20 + 31 33 4158 N = = = .27 1232 15129

P Accordo vero (AV) = AO AC = .91 .27 = .64

K=

AV AO AC .64 = = = .88 AO AC + D 1 AC 1 .27

Kw = 1

w x
i =1 k j =1 k i =1 j =1 ij

ij ij

w m

= .92
23

Bakeman & Gottman (1986)

< .70 preoccupante, problematico >.70 non preoccupante


24

ij