“Validità della ricerca e AVVISO IMPORTANTE

forme di controllo”
Il presente materiale didattico può essere
Prof. Augusto Gnisci scaricato dal sito del Dipartimento solo dagli
LEZIONI DI PSICOMETRIA studenti di Psicometria (prof. Augusto Gnisci),
Facoltà di Psicologia, Seconda Università di
A.A. 2017-18
Napoli.
Può essere utilizzato solo per motivi di formazione
e studio da tali studenti.

QUALSIASI ALTRO USO È DA CONSIDERARSI

ILLECITO.

1 2

VALIDITÀ DELLA RICERCA

VALIDITÀ DELLA RICERCA frustrazione aggressività

 La validità è la solidità e l’attendibilità di

un’indagine, ossia la vera 1. La relazione individuata è vera per le situazioni, le
persone, i luoghi e i tempi in cui ho fatto la ricerca?
corrispondenza tra mondo reale e
2. Ho misurato realmente ciò che dico di misurare?
conclusioni di una ricerca.
3. I risultati sono dovuti alla manipolazione della variabile
 “migliore approssimazione disponibile indipendente o a variazioni di ordine casuale?
alla verità o alla falsità delle conclusioni 4. La relazione individuata è vera anche per le situazioni,
di una ricerca” (Cook & Campbell, 1979) le persone, i luoghi e i tempi diversi da quelli in cui ho
fatto la ricerca?
 4 + 1 aspetti
5. La relazione individuata in laboratorio è vera anche in
situazioni naturali?
frustrazione aggressività
3 4

5 ASPETTI DELLA VALIDITÀ Relazione diretta

 1] VALIDITÀ INTERNA

 2] VALIDITÀ DI COSTRUTTO

X (V.I.) Y (V.D.)
 3] VALIDITÀ STATISTICA

 4] VALIDITÀ ESTERNA

 5] VALIDITÀ ECOLOGICA
5 6

1
Variabili di CONFUSIONE nel Variabili e relazioni:
legame tra V.I. e V.D. V.I. V.D. moderatore e mediatore
Variabili di confusione o intervenienti:
Variabile non prevista dal ricercatore, che interviene tra la variabile
indipendente e quella dipendente.
Es.: frustrazione  aggressività
frustrazione  depressione  aggressività

 CONFONDENTE (o DI DISTURBO) ( minaccia alla validità interna) a) b) c)

E’ una variabile che nasce da un errore metodologico del ricercatore relazione spuria relazione causale relazione causale indiretta
(artefatto), e quindi non è controllata, che covaria con la V.I. ma è (variabile spuria) moderata (moderatore) (mediatore)
estranea ad essa.
Es.: appartenenza politica  conservatorismo C  Y X  Y X  C  Y

appartenenza politica o età ?  conservatorismo  
 CONFUSA ( minaccia alla validità di costrutto) X C
E’ una variabile teoricamente non prevista dal ricercatore, e quindi non
controllata, che covaria con la V.I., è intrinsecamente associata alla
V.I. e alla sua operazionalizzazione. Es., ombrelli Es., crema solare Es., pioggia, isolamento e depressione
Es.: extra-comunitari  crimine la relazione tra X e Y varia al variare dei livelli di C
extra-comunitari  povertà  crimine 7 8

VALIDITÀ INTERNA
Implicazioni per la validità  La validità interna è fondamentale perché
della ricerca: riguarda la verità dei risultati sul campione
raccolto e, quindi, è alla base anche degli altri
Tutte le variabili che covariano con la V.I. tipi di validità.
senza esser controllate costituiscono le
“famose” minacce alla VALIDITÀ DELLA  Un esperimento ha alta validità interna se vi
RICERCA: sono ragioni valide per ritenere che una
 Interna relazione di causa-effetto esiste realmente tra
la variabile indipendente e quella dipendente
 Esterna (popolazione, temporale, spaziale o ecologica) nel campione raccolto. Cioè, se si può
 Costrutto ritenere che la variazione della dipendente
 (Statistica) (VD) è causata dalla manipolazione della
indipendente (VI) e se si può escludere che è
9
causata da altre variabili (VC). 10

MINACCE ALLA VALIDITÀ

VALIDITÀ INTERNA INTERNA
 Una relazione causale implica:
 1) una direzione (A  B); 1. Effetto Storia
 2) esclusione dei fattori di confusione. 2. Effetto Maturazione
3. Effetto Prove
 La prima viene dedotta o su base teorica o su 4. Effetto Strumentazione
base temporale. La seconda comporta il
controllo di tutte le variabili potenzialmente in 5. Regressione verso la media (o statistica)
grado di influenzare la relazione causale, cioè 6. Selezione dei gruppi
tutte le variabili che minacciano la validità 7. Mortalità
interna della ricerca. Il ricercatore deve quindi
creare delle procedure per escludere tutte le 8. Interazioni tra gli effetti precedenti
altre possibili spiegazioni e perché la
relazione trovata sia genuina. 11 12

2
 1. Effetto storia 2. Effetto maturazione
accadimento di un evento imprevisto che confonde la relazione cambiamenti sistematici delle persone, di tipo biologico o psicologico,
tra variabile indipendente e variabile dipendente che avvengono spontaneamente col trascorrere del tempo, attribuibili
alla crescita o allo sviluppo degli stessi soggetti
trattamento trattamento

Pre-test Post-test Pre-test Post-test

Evento imprevisto Maturazione interna del soggetto

L’effetto storia può essere prodotto da due diversi tipi di
variabili: Critico nelle ricerche ti tipo evolutivo o longitudinali
1. riferite all’ ambiente sperimentale (luce, ecc.) 13 14
2. riferite al contesto esterno (evento d’attualità)

3. Effetto prove 4. Effetto strumentazione

E’ dovuto al fatto che il soggetto ha partecipato a esperimenti precedenti Si verifica tutte le volte che si ci sono delle fluttuazioni nelle misurazioni
o altre prove dello stesso esperimento, ed è dovuto all’apprendimento, dovute sia al cambiamento dello strumento di misura sia all’uso che si fa
alla pratica o alla familiarità che ha acquisito grazie ad essi. dello strumento. Dipende perciò da:
• strumenti
trattamento trattamento
• chi li somministra

Pre-test Post-test Pre-test Post-test

Pratica Cambiamento d’umore dello sperimentatore

Critico nelle ricerche di tipo evolutivo o longitudinali Esperimento di Schacter & Singer (1962) sull’effetto sperimentatore.
15 16

5. Regressione statistica Es. da Pedon & Gnisci, p.132:

Quando si fanno più misurazioni della stessa variabile sugli stessi
soggetti in diversi momenti, i soggetti che hanno dato uno punteggio
estremo nella prima prova tendono a regredire verso la media nella
seconda, cioè, nella prova successiva ottengono punteggi vicini ai
valori medi del gruppo.
trattamento

Pre-test Post-test

Fluttuazioni casuali
dipende da fluttuazioni casuali (stato d’animo, motivazione, fatica,
interazione esaminatore-esaminatore, ecc…), non legate
all’effetto strumentazione. .
17 18

3
 6. Selezione 7. Mortalità
 L’effetto selezione, in studi che presentano  L’effetto mortalità si verifica quando
più gruppi, si riferisce ad una diversità nella alcuni soggetti che hanno partecipato al
selezione dei gruppi che vengono utilizzati pre-test dell’esperimento si ritirano
per fare i confronti.
prima della fine dell’esperimento.
 I gruppi, infatti, devono essere in tutto e per
tutto uguali eccetto che per la VI manipolata,
altrimenti non posso attribuire ad essa
l’effetto riscontrato.
 INTERAZIONE TRA DIVERSI EFFETTI

19 20

Alcuni metodi per ridurre le

minacce
 Controllo della costanza (si mantengono il
più possibili costanti le condizioni di ricerca
per tutti i soggetti per tutto il periodo
sperimentale ad eccezione della VI)
 Bilanciamento nella formazione dei gruppi
 Abbreviare l’intervallo tra le prove
 Far passare il pre-test per un evento
ordinario (es., un compito scolastico)
VALIDITÀ ESTERNA
 La componente esterna della validità consiste
nella possibilità di generalizzare le
conclusioni a individui, tempi e luoghi diversi
da quelli che il ricercatore ha considerato.
 La generalizzazione a soggetti diversi è detta:
Validità della popolazione
 La generalizzazione a tempi diversi è detta:
Validità temporale
 La generalizzazione a luoghi diversi è detta:
Validità spaziale o ecologica

21 22

VALIDITÀ ESTERNA Minacce alla validità esterna:

 Il modo migliore per ottenere validità esterna  VALIDITÀ DI POPOLAZIONE: uso di
sarebbe replicare la ricerca modificando, volta categorie particolari di soggetti, come:
per volta, i soggetti, i luoghi e i tempi.  Studenti universitari (“fagioli”)
 Topialbini
 In pratica, si cerca un campione rappresentativo.  Volontari

 Per ottenerlo:  VALIDITÀ TEMPORALE:

 Aumenta la numerosità del campione  Cambiamenti stagionali
 Utilizzano dei metodi di campionamento  Cambiamenti ciclici (ritmi circadiani)
 Cambiamenti della persona (es., voto)

23 24

4
SUGGERIMENTI PER AUMENTARE CAUTELE NELLA VALUTAZIONE
LA VALIDITÀ ESTERNA DELLA VALIDITÀ ESTERNA
1. adoperare misurazioni non intrusive Tenere presente che:
1. gli esperimenti non sempre sono condotti per
2. raccogliere i dati prima dell’esperimento generalizzare alla vita reale ma anche per altri
3. evitare di dire il vero motivo della ricerca scopi
o inganno Esp. su uomini con occhiali giudicati più intelligenti
se mostrati per soli 5 secondi
4. ricorrere a situazioni naturali
5. ricorrere a particolari disegni di ricerca 2. La componente di un esperimento da
generalizzare riguarda il processo teorico che
viene verificato.
3. Abbandonare il laboratorio non assicura
25 meccanicamente validità esterna. 26

Operazionismo
VALIDITÀ DI COSTRUTTO (o operazionalismo)
 Un COSTRUTTO, in psicologia, è un concetto  Teoria sui concetti della scienza, elaborata da
astratto che indica un complesso organizzato B.H. Brodie (1869) e più esplicitamente da
della vita psichica e che si riferisce a qualcosa Bridgman (1927)
di non osservabile direttamente (latente).  Il significato di un concetto è dato dall’insieme
 Esempi: di operazioni e dei processi mediante i quali
 Intelligenza esso viene applicato alla realtà
 Ansia
 Affiliazione  Storicamente: comportamentismo
Obbedienza
 Interpretazione più moderna: definizioni

 Atteggiamenti
 Opinioni concettuali e operative  quantificazione e
Emozioni


Esso viene inferito attraverso alcuni indicatori.
misurazione dei costrutti
 ritmo del battito cardiaco
 sudorazione delle mani
 risposte a domande
 Gli indicatori sono il frutto dell’operazionalizzazione del costrutto.
27 28

Per una buona validità di MINACCE ALLA VALIDITÀ DI

costrutto: COSTRUTTO
 Adeguata definizione teorica 1. insufficiente definizione teorica dei costrutti,
selettività, non esaustività
 Adeguata definizione operativa 2. inadeguata operazionalizzazione del
costrutto, errori nell’operazionalizzazione
 Scelta adeguata degli indicatori
3. ambiguità delle variabili indipendenti
effetto Hawthorne
VI =
 livello di illuminazione
 cooperazione/relazioni umane
 paura di accordo tra sperimentatori e dirigenti

29 30

5
 METODI PER LA VALIDITÀ DI Manipulation Check
COSTRUTTO (verifica della manipolazione)
 dare una definizione chiara, esplicita, TRAMITE INTERVISTE
definita ed esaustiva del costrutto e, in condurre delle interviste ai soggetti
generale, dei costrutti che si vogliono dopo aver condotto l’esperimento per
misurare, facendo riferimento alla teoria assicurarsi che il costrutto è stato ben
e alla letteratura manipolato (Ash, 1956, sul
conformismo)
 eseguire delle verifiche empiriche
TRAMITE INDICATORI EMPIRICI
dell’avvenuta manipolazione, cioè dei
manipulation check stabilire degli indicatori comportamentali
atti a rilevare la manipolazione della VI
(topi affamati)
31 32

VALIDITÀ STATISTICA VALIDITÀ ECOLOGICA

 La validità statistica intende verificare se il rapporto tra
le variabili sperimentali è di tipo CASUALE o
CAUSALE.
Gli effetti osservati sono dovuti alla manipolazione
della VI (causa) o sono dovuti semplicemente al caso?
 E’ basata sulla teoria della probabilità e dell’inferenza
statistica, cioè su quei procedimenti che consentono di
valutare la variabilità dei fenomeni che avrebbero
luogo se agisse solo il caso.
 Tali procedimenti confrontano:
 la variabilità dovuta al caso (teoria delle probabilità)
 la variabilità empiricamente osservata
33
Esempio dei topi nei labirinti con più corridoi.
 La validità ecologica è la possibilità di generalizzare i
risultati della ricerca anche a contesti della vita
quotidiana.
 STORIA:
BRUNSWIK ’40: Disegno rappresentativo: replicare I
risultati degli esperimenti di laboratorio nella vita reale
LEWIN ’40: Percezione soggettiva del soggetto sia del
compito sia dell’ambiente dell’esperimento
BRONFENBRENNER ’80: La validità ecologica è il
grado con cui l’ambiente che I soggetti percepiscono
ha le caratteristiche che il ricercatore assume
Rilevanza: utilità reale e potenziale della ricerca per
risolvere problemi o per migliorare la vita delle
persone
34

Minacce alla validità ecologica

 Secondo la definizione di Brunswik  tutti gli
artefatti di laboratorio (ambiente poco IL CONTROLLO DEGLI EFFETTI
familiare, oggetti sconosciuti o esotici, ecc.)
 Secondo la definizione di Lewin  tutto ciò
DI DISTURBO
che impedisce allo sperimentatore di sapere
come il soggetto percepisce la situazione (
imp. dei manipulation check)

35 36

6
Cos’è il controllo? A) Strategie generali
 Permette di limitare al massimo le sorgenti  Caratteristiche della richiesta (demand
di variabilità indesiderata di una ricerca, cioè characteristics): indizi in base ai quali il
le variabili di confusione. soggetto cerca di capire cosa si vuole da lui
 Controllo della costanza
STRATEGIE di CONTROLLO:  Follow up
1. Generali  Attendibilità, validità, oggettività e sensibilità
2. Sugli effetti dei soggetti e dello nella misura
sperimentatore  Ripetizione dell’esperimento: esatta e
3. Mediante selezione e assegnazione dei sistematica
soggetti
4. Degli effetti dell’ordine e della sequenza
37 38

B) Strategie di controllo su effetti

dei soggetti e dello sperimentatore
I soggetti possono essere influenzati
dalle conoscenze che hanno sulla
psicologia, sulla procedura
sperimentale, dall’effetto diffusione.
 L’ effetto sperimentatore consiste
nell’influenza che lo sperimentatore,
incosciamente o inintenzionalmente, ha
sui soggetti dell’esperimento.
 Esp.di
Schacter & Singer (1962) su
sperimentatore euforico e depresso.
39
Controllo
 Singolo cieco: si tengono i soggetti all’oscuro delle
ipotesi e delle condizioni in cui sono messi;
 Doppio cieco: anche i collaboratori dello
sperimentatore ne sono all’oscuro;
 Placebo: farmaco o trattamento che ha solo in
apparenza le caratteristiche di quello somministrato
al gruppo sperimentale;
 Automazione delle istruzioni (scritte o al PC);
 Tecnica dell’inganno (si fa credere ai soggetti che la
situazione sia qualcosa di diverso da quella
sperimentale)
 Esperimenti di Darley & Batson (1973), di Asch
(1956), di Milgram (1936)
40

Lo studio di Asch sul C) Controllo su selezione e

conformismo del 1951 assegnazione dei soggetti
a) Selezione dei soggetti dalla popolazione

Popolazione Campione

b) Assegnazione dei soggetti ai gruppi

C1
A 1 2 3
Campione C2

41
C3 42

7
I. Selezione dei soggetti dalla Stante che più il campione è numeroso,
popolazione. La rappresentatività maggiore è la probabilità che sia
rappresentativo…
 Per generalizzare i risultati da un campione ad una
popolazione, il campione deve essere 3 metodi di selezione:
rappresentativo della popolazione.
1. Campionamento casuale
 Cosa significa “ rappresentativo” ?
Significa che il campione deve riflettere 1. Con ripetizione o reinserimento
adeguatamente le caratteristiche della popolazione. 2. Senza ripetizione

 In altri termini:
2. Stratificazione
le caratteristiche della popolazione ( sesso, età, 3. Campionamento ad hoc
intelligenza, classi sociali, atteggiamenti, affiliazioni
politiche, religione, etc. ) devono essere presenti nel
campione nelle stesse proporzioni presenti nella
popolazione. 43 44

1) Campionamento casuale 2) Stratificazione

 Un campione si dice casuale quando  Un campione è stratificato quando la
popolazione viene suddivisa in tante parti,
ogni soggetto della popolazione ha la dette strati, sulla base delle variabili
stessa probabilità di essere scelto considerate critiche per i soggetti, e da
per far parte del campione. ognuna di queste parti viene compiuta
un’estrazione casuale.
a) con ripetizione o reinserimento
 Le variabili critiche per i soggetti sono,
b) senza ripetizione ovviamente, le variabili che si suppone
influenzino la VD.
 Possono essere prese in considerazione
più variabili critiche contemporaneamente.
45 46

II. Assegnazione dei soggetti

3) Campionamento ad hoc ai gruppi. 3 metodi:
 Si dice campione ad hoc quel campione 1. Assegnazione casuale
formato da soggetti facilmente accessibili
2. Pareggiamento, appaiamento
e disponibili a partecipare alla ricerca e,
quindi, non estratti casualmente da alcuna (matching)
popolazione. 3. Metodo dei blocchi
 Si può generalizzare solo (1) con cautela e 4. Soggetti come controllo di sé stessi
con riserva e (2) a persone che hanno le
stesse caratteristiche del campione.

47 48

8
1) Assegnazione casuale 2) Pareggiamento
 Si parla di assegnazione casuale  E’ un metodo di assegnazione dei
soggetti alle condizioni che permette di
quando ogni soggetto estratto dalla costruire campioni bilanciati.
popolazione ha la stessa probabilità  Utile quando si hanno pochi soggetti.
di capitare nell’una o nell’altra  Come si fa?
condizione 1) si dispongono i soggetti in ordine crescente sulla base di
una (o più) variabili ( per es., l’età)
 Il campione deve essere numeroso. 2) si formano delle coppie di soggetti in base all’ordine
precedente (i due più giovani, poi i due appena più
grandi,…)
3) i membri della coppia vengono assegnati a caso nell’uno
o nell’altro gruppo (dei due più giovani, uno va ad un
gruppo, l’altro va all’altro gruppo, …)

49 50

2) Pareggiamento 3) Metodo dei blocchi

 E’ un metodo che permette di suddividere
+ giovane S1 S2 S3 S4 S5 S6 S7 S8 … + vecchio i soggetti in gruppi, detti blocchi, ciascuno
corrispondente ad un livello di una
S1 S2 variabile che si ritiene influenzi la VD.
S3 S4
S5 S6  Es. suddividere il campione in tre blocchi
C1 C2
S7 S8 sulla base del QI ed assegnare casualmente
S9 S10
… a ciascun gruppo i soggetti dei blocchi
Gruppo 1 Gruppo 2
(S1, S3, S6,…) (S2, S4, S5. ...)

51 52

D) Controllo degli effetti D) Controllo degli effetti

dell’ordine e della sequenza dell’ordine e della sequenza

Si ricordi il disegno entro i gruppi:

Ogni misurazione può anche essere indicata con una lettera. Es., A, B, C, ecc.
54

53

9
Effetti dell’ordine e della CONTROBILANCIAMENTO
 Il controbilanciamento delle prove o delle condizioni
sequenza consiste nel sottoporre il soggetto a diverse
 Effetto dell’ordine: sequenze/ordini di prove.
E’ dovuto all’ordine delle condizioni,
indipendentemente dalla specificità delle condizioni  2 TIPI DI CONTROBILANCIAMENTO:
stesse (posizione).  TRA GRUPPI: Ogni gruppo viene sottoposto a una
Es. A B  B è alterata dal fatto di essere svolta per sequenza di prove diversa
seconda  ES: 2 gruppi per AB e BA
CONTROLLO: ogni prova si deve realizzare lo stesso  ENTRO I GRUPPI: Ogni soggetto viene sottoposto a tutte
numero di volte in ogni posizione le sequenze delle prove
 Effetti della sequenza:  ES: a tutti AB e BA
E’ dovuto al tipo di prova che precede la prova in
questione  Il controbilanciamento si dice inoltre completo o
Es. A B  B è alterata dalla presentazione incompleto a seconda che si sottopongano al
precedente di A soggetto tutte le possibili combinazioni tra le prove o
CONTROLLO: ciascuna prova deve essere solo alcune di esse, selezionate sulla base delle
preceduta/seguita lo stesso numero di volte da considerazioni su quali effetti (sequenza o ordine)
qualsiasi altra prova 55
siano più minacciosi. 56

CONTROBILANCIAMENTO CONTROBILANCIAMENTO TRA

TRA GRUPPI: A) COMPLETO GRUPPI: B) INCOMPLETO
 Il controbilanciamento completo è in teoria il  Il controbilanciamento incompleto fornisce
migliore, ma è difficile da realizzare. Infatti: delle sequenze idonee a controllare
 2 prove (A, B)  2 sequenze: AB BA determinati effetti dannosi in disegni di ricerca
 3 prove (A, B, C)  6 sequenze: ABC, BCA,
con più prove.
CBA, ACB, BAC, CAB Il “quadrato latino”
 4 prove (A, B, C, D)  24 sequenze!
 5 prove (A, B, C, D, E)  120 sequenze!
 6 prove (A, B, C, D, E, F)  720 sequenze!
 Ecc.

57 58

Il “quadrato latino”
Controlli:
 Il quadrato latino controlla gli effetti
dell’ordine ma non della sequenza.
 Il quadrato latino bilanciato controlla sia
gli effetti dell’ordine sia quelli della
Il “quadrato latino bilanciato”
sequenza.

59 60

10
CONTROBILANCIAMENTO ENTRO GRUPPI: B) INCOMPLETO
ENTRO GRUPPI: A) COMPLETO Il “quadrato latino”
 Anche per il controbilanciamento entro i
gruppi si può adottare una strategia
completa, solo che ogni soggetto sarà
sottoposto tutte le sequenze.
 2 prove (A, B)  2 sequenze: AB BA
 3 prove (A, B, C)  6 sequenze: ABC, BCA,
CBA, ACB, BAC, CAB
Il “quadrato latino bilanciato”
 4 prove (A, B, C, D)  24 sequenze!
 5 prove (A, B, C, D, E)  120 sequenze!
 6 prove (A, B, C, D, E, F)  720 sequenze!
 Ecc.
61 62

ALTRE TECNICHE DI
CONTROBILANCIAMENTO ENTRO I
GRUPPI
(oltre a Completo e Incompleto):
 Randomizzazione dell’ordine delle prove per
ciascun soggetto (se tante): ACABBACA…
 Randomizzazione dell’ordine delle prove, uguale
per ciascun soggetto.
 Controbilanciamento inverso:
 2 prove: AB BA
 3 prove: ABC CBA
 Randomizzazione a blocchi:
 Es. 3 blocchi, ciascuno costituito da tutte le prove ma
scelte casualmente: CDBA-BDAC-ADCB
63

11