Sei sulla pagina 1di 18

Q

UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

Triangolazione e processi valutativi

Paolo Parra Saiani*

A comment from a French Philosopher to an American Engineer


“Of course it works in practice, but will it work in theory?”

1. Introduzione. Qualità e quantità, una falsa dicotomia

Affilarsi di spade, levarsi di scudi, olio bollente… non è la guerra dei Trent’an-
ni, ma il confronto tra paladini dell’approccio standard e difensori di quel-
lo non-standard. Oggetto del contendere, la demarcazione del territorio, o
meglio la “corona” di scienziato.
Gli approcci non-standard sono spesso accusati di pervenire a conclusioni
non affidabili1, poiché gli strumenti e la gran parte delle tecniche impiegate
sarebbero influenzate dalla soggettività del ricercatore. Ma se con il termine
‘soggettivo’ s’intende evidenziare l’influenza del giudizio umano sulle attività

* Paolo Parra Saiani è dottorando di ricerca in Sociologia dei fenomeni internazionali,


del territorio e del servizio sociale presso l’Università degli Studi di Trieste (XV ciclo) e
docente di Metodologia della ricerca con elementi di statistica presso l’Università degli
Studi di Urbino.
Per i preziosi consigli e suggerimenti avuti in varie fasi della stesura del testo desidero
ringraziare Alberto Marradi, Daniele Nigris e Mauro Palumbo. Ringrazio David L. Morgan
(Portland State University) per la segnalazione della citazione di apertura.
1
Per ‘affidabilità’ s’intende la “proprietà del rapporto fra il concetto che ha suggerito la
definizione operativa e gli esisti effettivi delle operazioni che tale definizione prevede” (cfr.
Marradi 19843: 36).

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 49


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE PAOLO PARRA SAIANI

di ricerca, tutte le tecniche, standard o meno, sarebbero soggettive2. Glaser e


Strauss (1967: 17-18) affermano che non vi è contrasto tra gli scopi, gli obiettivi
e le potenzialità delle tecniche, e che ogni forma d’informazione è utile sia per
controllare sia per generare teorie. Il problema, inoltre, si può porre (sebbene
non venga quasi mai posto) “anche per le conclusioni cui si giunge con l’ana-
lisi statistica dei dati” (Gasperoni e Marradi 1996: 639). La matrice dei dati
costituisce solo qualche aspetto della realtà, grazie a un’impalcatura “di con-
venzioni e a una miriade di decisioni ‘soggettive’ e scoordinate prese dai vari
esecutori”. Il tutto nascosto da una “cintura protettiva di concetti e termini”
scelti e usati in modo da far dimenticare le differenze tra la matrice dei dati e
la realtà, affinché il ricercatore possa “minimizzare i contatti con il suo ogget-
to pur conservando la pretesa di parlarne in modo non speculativo ma ‘scien-
tifico’” (Marradi 1990: 74). Altri concetti e termini della cintura assolvono la
funzione di coprire e legittimare il fatto che vengono ridotte a manipolazioni
matematiche (“oggettive”, “scientifiche”) delle operazioni intellettuali che ri-
chiedono giudizi e decisioni del ricercatore, come possessore di conoscenza
tacita sia sull’oggetto e il contesto della sua ricerca, sia sui vari aspetti del suo
mestiere (Marradi 1990: 75)3.
Alcune tecniche sono allora identificate con il metodo scientifico: ciò
rispecchia il tratto umano dello scienziato sociale, definito da Abraham
Kaplan la legge dello strumento: “Date un martello a un bambino ed egli
troverà che ogni cosa che incontra ha bisogno di una buona martellata”4.
Visto che alcuni approcci sono più diffusi di altri, alcune tecniche sono
insegnate più diffusamente di altre (ad esempio il questionario), innescan-
do un circolo vizioso. Non si contesta la preferenza accordata ad alcune
tecniche rispetto ad altre, ma che ad altre – conseguentemente – sia negato
il nome di ‘scienza’ (Kaplan 1964: 29). Notare che in biologia e in astrono-
mia si ricorre a strumenti differenti quali il microscopio e il telescopio è
diverso dall’affermare che le due discipline hanno due diversi metodi (Kaplan
1964: 31) e due diverse dignità scientifiche.

2
Sulle stesse posizioni Scriven (1972); cfr. inoltre Reichardt e Cook (1979: 12-13).
3
Sulla cintura protettiva, composta da ipotesi ausiliarie, teorie osservative, condizioni
iniziali, atta a sostenere gli “urti dei controlli” attraverso continui adattamenti e modifiche
che conducano all’assorbimento di anomalie e casi recalcitranti, e alla predizione di “fatti
nuovi” si veda Lakatos (1970, 1995).
4
“Give a small boy a hammer, and he will find that everything he encounters needs
pounding” (Kaplan 1964: 28).

50 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

La contrapposizione qualità/quantità è il segno di un modo non-laico


(Campelli 1996: 36) di affrontare l’argomento, espressione di un bisogno
comune di sicurezza, talvolta di appartenenza e di identità5: da un lato si
avanza l’indiscutibilità del numero e dei risultati oggettivi, dall’altro si op-
pone la pienezza della comprensione e dell’empatia. Anziché considerare le
diverse tecniche delle rivali incompatibili, ci si può giovare del loro uso
congiunto, come d’altronde è stato auspicato più volte sia nel contesto del-
la ricerca valutativa sia in quello delle discipline più tradizionali6.
Lo stesso fenomeno può essere approfondito da più punti di osservazione
indipendenti, impiegando più approcci e tecniche, attraverso una sorta di
triangolazione (Campbell 1964: 331)7. Il termine ‘triangolazione’, mutuato
dalla geodetica, è riferito alla procedura seguita per stabilire l’esatta posizio-
ne di un dato oggetto, partendo da più punti di osservazione: usare più di
un punto di riferimento permetterebbe una maggiore accuratezza nel pro-
cesso di rilevazione8. Se si impiega un solo strumento – l’intervista porta-a-
porta, il giudizio dei pari, l’analisi del contenuto, la somministrazione del
questionario ecc., limitandoci a quelli più in uso nelle scienze sociali – per
rilevare gli stati su un ampio numero di proprietà teoricamente indipen-
denti, è possibile che parte della loro relazione eventualmente osservata sia
dipendente dal “veicolo” condiviso. Se una proposizione è corroborata da
più rilevazioni indipendenti l’incertezza della sua interpretazione si riduce9;

5
Sulle contrapposizioni tra spiegazione e comprensione, positivismo ed ermeneutica
come risposte al bisogno d’identità delle scienze sociali, si veda Ricolfi (1997).
6
Sul punto si vedano Reichardt e Cook (1979: 20), Delli Zotti (1996). Come afferma
Trow a proposito dei vantaggi dell’osservazione partecipante nei confronti delle interviste,
“every cobbler thinks leather is the only thing. […] But we should at least try to be less
parochial than cobblers” (1957: 35).
7
Cfr. inoltre Webb et al. (1966: 174 sgg.), Denzin (1970: 301 sgg.), Smith (1975: 272
sgg.), Denzin (1989), (Clarke 1999: 86). Per un approccio simile cfr. Campbell e Fiske
(1959).
8
Alcune critiche sono state rivolte alla triangolazione, in quanto tecniche diverse sonde-
rebbero aspetti diversi, rendendo difficile, in base alla loro combinazione, raggiungere un
risultato coerente. Cfr. Hammersley e Atkinson (1983: 199), Potter e Wetherell (1987),
Silverman (1993: 156-158).
9
“There must be a series of linked critical experiments, each testing a different outcropping of
the hypothesis. It is through triangulation of data procured from different measurement
classes that the investigator can most effectively strip of plausibility rival explanations for
his comparison” (cfr. Webb et al. 1966: 174).

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 51


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE PAOLO PARRA SAIANI

naturalmente, l’attendibilità è aumentata se i vettori-colonna della matrice


che intendono rilevare la stessa proprietà sono congruenti10. Anche qui, il
concetto di fedeltà manifesta la sua utilità in quanto ricorda “agli scienziati
sociali che i loro strumenti di raccolta di informazioni non hanno la virtù
di fotografare automaticamente la realtà, e che l’obiettivo di una registra-
zione fedele deve essere perseguito controllando accuratamente il funziona-
mento effettivo degli strumenti nei singoli atti di rilevazione” (Marradi 1990:
79).

2. Triangolazione e ricerca valutativa

Per la sua contiguità con la ricerca sociale11, la ricerca valutativa rispecchia


pressoché tutti i nodi epistemologici e metodologici propri delle scienze
sociali; come nella ricerca sociale, gli approcci “quantitativi” sono stati con-
trapposti a quelli “qualitativi”, originando una tensione ricorrente tra la
valutazione vista come quantificazione (trovare un’espressione numerica per)
o come espressione di un giudizio di merito, politico o morale (statuire il
valore di) (Lishman 1999: 2).
Diversamente da alcuni autori che negano l’esistenza di procedure privile-
giate che possano migliorare e favorire l’accettabilità dell’interpretazione di
un ricercatore (Smith 1989, 160), molti valutatori auspicano una più accu-
rata strutturazione procedurale12. Ciò – in parte – perché si chiedono
rassicurazioni sulla correttezza delle procedure adottate nella raccolta delle
informazioni e sulla successiva analisi dei dati. Le valutazioni condotte con
un approccio non-standard possono scarsamente contribuire alle politiche
e ai programmi sociali se non sono percepite come credibili (Green 2000:
987).
La valutazione tende a essere espressa in forma numerica, espressione rite-
nuta più accettabile perché “scientifica”. Il fascino esercitato sui decisori

10
Webb et al. (1966: 3) introducono anche un assunto difficilmente condivisibile: “this
confidence is increased […] by a reasonable belief in the different and divergent effects of
the sources of error”. Perché la diversità delle origini degli errori dovrebbe implicare pro-
prio una loro divergenza e – di conseguenza – una loro compensazione?
11
Sulle relazioni tra ricerca sociale e ricerca valutativa, si vedano Rossi, Freeman e Lipsey
(19936), Palumbo (2001c), Bezzi (2001), Parra Saiani (2002).
12
Sulla necessità del rigore metodologico nell’ambito della ricerca valutativa si veda Bezzi
(2001).

52 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

pubblici è da ricondurre alla possibilità di ottenere un semplice numero,


riassuntivo di un processo, ma spesso se ne abusa: non è difficile trovare
qualcosa da misurare che sia anche un possibile esito di un programma.
Tutto ciò incoraggia una certa mistica della quantità, che si appoggia sui
numeri considerandoli depositari di poteri occulti o dotati di valore scien-
tifico intrinseco (Kaplan 1964: 172).
Sempre più, tuttavia, la valutazione è avvicinata da una prospettiva
pluralistica13, ricorrendo – talvolta forse inconsciamente – a forme di
triangolazione. Sherman e Reid (1994: 3) riassumono le ragioni del cre-
scente impiego delle tecniche non-standard nei processi valutativi: “There
was the recognition that the controlled and reductive procedures of
quantitative research tended to selectively ignore much of the context of
any study and thereby miss significant factors in the situation that more
holistic qualitative observation and description might identify. There was
also a recognition that the study and analysis of what goes on in the actual
process of practice had been shortchanged in favour of measurable outcomes14.
Further, a need existed for more knowledge about the interactive and
subjective experience of the client in the clinical change process”.
Vi sono aspetti che non possono essere misurati, se non sulla base di pre-
messe e postulati teorici scarsamente difendibili. Per contro, “la dimensio-
ne qualitativa, e in linea generale gli ambiti di più impervia e incerta
rilevazione, possono generare informazioni decisive per una valutazione
corretta e completa delle politiche pubbliche” (Palumbo 1995: 334-335).
Non si può cadere nel monismo gnoseologico se si ammette di avere fonti
di informazioni sulla realtà al di fuori della matrice dei dati; in particolare
se si riconosce che un patrimonio di esperienze e di conoscenze non
formalizzate è necessario in qualsiasi fase della ricerca, dalla scelta degli
indicatori e delle definizioni operative alla valutazione della fedeltà dei dati,
dalla scelta dei modelli e delle tecniche di analisi all’interpretazione dei
risultati (Marradi 1990: 76).

13
“Our big evaluations should be split up into two or more parts and independently
implemented. When the results agree, the decision implications are clear. When they
disagree, we are properly warned about the limited generality of the findings. If qualitative
and quantitative evaluations were to be organised on the same programs, I would expect
them to agree. If they did not, I feel we should regard it possible that the quantitative was
the one in error” (cfr. Campbell 1978: 372-373).
14
Corsivo nostro.

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 53


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE PAOLO PARRA SAIANI

Il definitivo affrancamento da impostazioni neopositiviste invita a riconside-


rare in termini circolari e non lineari le relazioni tra conoscenza e intervento,
rendendo così legittime contaminazioni fruttuose anche sul piano
metodologico (Palumbo 2001b: 11-12). “Quali che siano i rapporti recipro-
ci, analisi quantitativa e analisi qualitativa non possono che denotare tipi di
attività, modalità procedurali, strategie cognitive. La differenza, in altri ter-
mini, non può essere relativa a oggetti di studio, come se esistessero ‘cose’ alle
quali dover riconoscere, realisticamente e in virtù di proprie specifiche carat-
teristiche, la qualifica dell’essere qualitative oppure quantitative. Il dibattito
non può quindi che riguardare, per l’appunto, forme di analisi” (Campelli
1996: 23).

3. I referenti della pratica valutativa

Max Weber affermava che nella discussione dei mezzi appare non solo “che i
vari individui hanno inteso qualcosa di completamente diverso sotto [lo] sco-
po che si supponeva preciso, ma […] che proprio lo stesso scopo è voluto su
basi ultime differenti, e che ciò influenza la discussione sui mezzi […] Le
valutazioni sono univoche soltanto quando lo scopo economico e le condi-
zioni di struttura sociale appaiono date, e quando si tratta soltanto di sceglie-
re tra diversi mezzi economici […] Solo allora un mezzo deve essere valutato
realmente, e senza eccezione, come quello tecnicamente più corretto, e que-
sta valutazione è univoca. In ogni altro caso, che non sia puramente tecnico,
la valutazione cessa di essere univoca” (Weber 1917: 358-359).
Se nelle prime fasi di sviluppo della ricerca valutativa si sosteneva che i
programmi fossero facilmente progettabili per produrre i risultati desidera-
ti e scopo della valutazione fosse controllarne in anticipo gli effetti, più
tardi ci si accorse che ottenere dei miglioramenti non era così semplice e
che i programmi avrebbero potuto dar luogo a un’ampia varietà di effetti
collaterali imprevisti. L’attenzione degli studiosi di valutazione cominciò a
spostarsi dalla “verifica”15 dei presunti effetti verso la scoperta di come un
programma avrebbe potuto essere progettato per ottenere proprio gli effetti
desiderati e quali effetti – previsti o meno – i programmi attuati avrebbero
potuto provocare (Reichardt e Cook 1979: 17).

15
Uso volutamente il termine ‘verificare’, in quanto rispecchia il “clima” dell’epoca,
marcatamente positivista.

54 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

L’impossibilità – talvolta l’inutilità – del confronto mezzi/fini può sorgere,


almeno, in tre frangenti: i) i processi cognitivi basati sulla conoscenza tacita
sono predominanti; ii) gli obiettivi sono nascosti, camuffati, non esplicita-
mente rivelati; iii) l’incidenza degli effetti inattesi – positivi o negativi – è
superiore a quella degli effetti previsti/attesi.
i) Processi cognitivi basati sulla conoscenza tacita – Anche quando il pro-
fessionista agisce impiegando coscientemente teorie e tecniche basate
sull’apprendimento, egli dipende da riconoscimenti, giudizi e abilità
taciti (Schön 1983: 49-50). Non sempre i principi che realmente orien-
tano il comportamento dei professionisti coincidono con i principi
teorici dai quali essi affermano di essere guidati (Palumbo 2001c:75
sgg.). Dreyfus e Dreyfus (1986) hanno chiarito che le prestazioni spe-
cializzate attingono largamente alla conoscenza tacita; ancora prima,
gli studi condotti da Benner (1984) avevano affermato che lo sviluppo
della professionalità rispecchia lo sviluppo dei processi di inferenza in-
consci, spontanei (cfr. anche Usher ed Edwards 1994). Solo i nuovi
professionisti sono guidati da ruoli basati sulla conoscenza teorica for-
male; con il progressivo consolidarsi dell’esperienza, l’applicazione
meccanica della teoria diventa più situata nel contesto16.
ii) Obiettivi nascosti, camuffati, impliciti – Se gli obiettivi fossero fissati e
chiari, allora la decisione di agire potrebbe presentarsi come un proble-
ma strumentale; ma se i fini sono confusi o conflittuali, non vi è ancora
un problema da risolvere con l’uso delle tecniche derivate dalla ricerca
applicata. È piuttosto attraverso il processo con il quale si inquadra la
situazione problematica che si possono definire e chiarire gli obiettivi e
i possibili mezzi per raggiungerli (Schön 1983: 41). Inoltre, le finalità
ultime di un programma sociale sono spesso di ordine politico, buro-
cratico o finanziario, mascherate da finalità sociali, rispondenti a indi-
rizzi politico-sociali assai più ampi e astratti di quelli che governano la
sua formulazione e la sua attuazione. L’esplicitazione della sfera
motivazionale e dei criteri a essa riconducibili permetterebbe l’emerge-
re di considerazioni solitamente in ombra nell’ambito dei processi de-
cisionali – gli “obiettivi latenti” – riportando la discussione al confron-
to tra sistemi differenti di valore.

16
Più recentemente, Fook, Ryan e Hawkins (1997) hanno condotto indagini simili sul
lavoro sociale trovando ulteriori riscontri. Cfr. inoltre Gould (1999: 68).

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 55


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE PAOLO PARRA SAIANI

iii) Effetti inattesi – Gli effetti inattesi sono stati spesso sovrapposti e con-
fusi con i soli “effetti perversi”: molto è stato scritto sui possibili effetti
negativi o sui non-effetti dell’intervento; ancora troppo poco si è di-
scusso degli effetti positivi. Un intervento sul mercato del lavoro, ad
esempio, da un lato può aumentare i tassi di partecipazione al lavoro e
ridurre la dipendenza da sussidi pubblici, dall’altro diminuire compor-
tamenti anti-sociali quali la propensione ad attività criminali17. La sti-
ma dell’impatto, tuttavia, è condotta considerando pressoché esclusi-
vamente le variazioni nei tassi di occupazione nei periodi successivi
all’intervento, i costi relativi sostenuti, il personale impiegato, i servizi
offerti. Con lo stesso strumento si possono perseguire obiettivi diffe-
renti, non sempre in conflitto; ma occorre esplicitarne i presupposti. Il
ricorso agli indicatori, comunque, non dovrebbe sostituire le scelte
politiche fondate sull’analisi delle priorità, ma renderebbe più esplicito
e informato, oltre che democratico, il processo decisionale.
“La nostra scienza”, scriveva Weber, “è storicamente sorta in relazione a
punti di vista pratici. Il suo scopo prossimo, e all’inizio anche esclusivo, era
quello di produrre giudizi di valore su determinati provvedimenti politico-
economici dello Stato” (Weber 1904: 57). Ciò che si può offrire al decisore
politico “è la conoscenza del significato di ciò che viene voluto. Noi possiamo
insegnargli a conoscere gli scopi che egli vuole, e tra cui sceglie, rendendo
esplicite e sviluppando in maniera logicamente coerente le ‘idee’ che stan-
no, o che possono stare a base dello scopo concreto”. E ciò pur consideran-
do che “la trattazione scientifica dei giudizi di valore può inoltre non sol-
tanto farci comprendere e rivivere gli scopi che vogliamo e gli ideali che
stanno dietro alla loro base, ma soprattutto anche insegnare a ‘valutarli’
criticamente” (Weber 1904: 60). Ciononostante, gli sviluppi anche recenti
della ricerca valutativa si sono limitati all’ambito prevalentemente empirico
– gli effetti prodotti dagli interventi – trascurando quello normativo, il
riferimento a princìpi e la riflessione sulle finalità da perseguire. Se nel pri-
mo ci si deve limitare a valutare l’efficienza e l’efficacia di una data politica,
nell’ambito normativo-valoriale sono in discussione i principi orientativi
stessi della politica.
17
È emblematico che la formazione professionale a favore dei disoccupati di lungo peri-
odo rientri tanto nella sfera delle politiche attive del lavoro quanto in quella delle politiche
attive contro la povertà: sul punto si vedano CEPR (1995: 158), Commissione di indagine
sulla povertà e l’emarginazione (1997: 7), Parra Saiani (1999).

56 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

La sfida posta dalla ricerca degli indicatori non è solo la loro definizione –
parallela al processo di progettazione e implementazione della politica – ma
anche l’opportuno bilanciamento tra indicatori “qualitativi” e “quantitativi”,
per evitare di ridurre i programmi e le politiche ai loro obiettivi espliciti, e
questi ai soli aspetti misurabili (Palumbo 2001a: 14).

4. La multidimensionalità nella costruzione degli indicatori

L’impiego di un indicatore implica la sostituzione dei vari aspetti di un


concetto ritenuto strategico con più concetti di livello di generalità inferio-
re18. La storia dell’uso degli indicatori può essere letta come quella delle
ipotesi implicite sullo “stato di realtà degli oggetti così indicati” (Desrosières
1997: 21): prima di tutto, l’indicatore è un enunciato sulla società. L’origine
degli indicatori è quella di oggetti giudicati sociali, suscettibili di essere pen-
sati, e rilevati19, in quanto tali. Non potendo “rilevare gli stati sulla proprie-
tà A, il ricercatore pensa a una o più altre proprietà i cui stati siano rilevabili,
e che lui giudica semanticamente collegata/e alla proprietà A. L’indicatore è

18
Etzioni e Lehman (1967) hanno elaborato un elenco pressoché completo delle insidie
nelle quali si può incorrere. Gli errori possono derivare da tre “fonti”: a) il carattere frazionale
della rilevazione (la riduzione del concetto); b) il suo carattere indiretto e c) le difficoltà
nella rilevazione di proprietà collettive. In merito alle proprietà collettive si possono in-
contrare due ambiguità: la prima consiste nel trattare unità formali o amministrative (sta-
ti, tratti censuali o classi scolastiche) come categorie teoricamente significative. La seconda
quando si deve scegliere tra due modi di rilevare le caratteristiche di una collettività, uno
basato sulle proprietà aggregate, l’altro sulle proprietà globali. Un attributo collettivo è
aggregato se è basato sull’informazione concernente ciascun membro della collettività stu-
diata; una caratteristica globale può essere un prodotto – materiale o simbolico – emanato
dalla collettività senza poter sapere quale o quanti membri individuali vi hanno contribu-
ito. Lazarsfeld ne propone un’illustrazione derivata da misure alternative del benessere di
una città: una misura aggregata potrebbe essere la media dei redditi; un attributo globale
potrebbe consistere nelle varie risorse (giardini, teatri, ecc.) usati a fini non economici (cfr.
Lazarsfeld 1968; 234 e Cazes 1972: 17).
19
L’indicatore deve concernere qualcosa di rilevabile. La “perdita di comunità” non può
essere un indicatore. Possiamo cercare molte vie per rilevarla considerando il tasso di sui-
cidi, il tasso con il quale le persone cambiano casa, il livello col quale le persone che vivono
nella stessa area influenzano reciprocamente il comportamento elettorale, ecc., perché sono
tutti aspetti rilevabili. Ma la “perdita di comunità” – come molte altri concetti – non è in
sé direttamente rilevabile e quindi, per quanto importante essa sia, non è un indicatore
(cfr. Anderson 1991: 50).

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 57


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE PAOLO PARRA SAIANI

allora una proprietà che il ricercatore concettualizza sia come tale sia come
(parziale e imperfetto) surrogato di un’altra che gli interessa di più”20. Gli
indicatori sono necessari se le proprietà non sono definibili operativamente21
o se l’accuratezza della stessa definizione operativa non è soddisfacente, per
cui il rapporto di indicazione “è sottoponibile a controllo empirico solo in
forma indiretta e mediata dalle valutazioni del ricercatore e della comunità
scientifica” (Landucci e Marradi 1999: 155). I fenomeni sociali possono
perciò essere colti dall’indicatore “in modo “particolare” e/o secondo un’ot-
tica prospettica privilegiata” (Cipolla 19884: 363).
L’indicatore è un ibrido composito che riunisce in sé la misura – nel senso
delle scienze della natura – e il significato – nel senso della linguistica – la cui
efficacia è fondata sulla sua elasticità e malleabilità. Il giudizio sull’uso corret-
to degli indicatori è riferito alla loro validità, cioè alla vicinanza22 con il con-
cetto che s’intende operativizzare: a tal fine, l’indicatore deve rispettare le
condizioni di unidimensionalità e di pertinenza teorica. La pertinenza teorica
concerne la capacità di rilevare la proprietà che effettivamente s’intende os-
servare e non altre; capacità strettamente legata alla necessità di predisporre
indicatori unidimensionali: se gli indicatori sono multidimensionali “nel
migliore dei casi soltanto una delle dimensioni rilevate è quella richiesta”
(Bruschi 1999: 77). La scelta è semplificata se gli obiettivi o i fini del pro-
gramma sono stati specificati. Comunque, anche in questo caso, è possibile
che vi siano effetti non-desiderati o non previsti.
Le due accezioni principali del termine ‘indicatore’ corrispondono a due
diverse modalità di costruzione. La prima considera gli indicatori specifica-
zioni e articolazioni di un concetto in dimensioni rilevabili, e privilegia il
processo di chiarimento concettuale e la successiva individuazione di indi-

20
“L’indicatore deve quindi avere natura vettoriale (nel senso strutturale, non nel senso
matematico; dev’essere cioè: 1) una proprietà 2) che presenti stati su (almeno potenzial-
mente) tutti i casi rappresentati nelle righe della matrice dei dati” (cfr. Marradi 1994: 184-
185). Su tali aspetti si veda inoltre Marradi (19843: § 3.3).
21
“Un indicatore è un concetto, e non può essere equivalente a una definizione operati-
va, che è un complesso di regole, di convenzioni, di stipulazioni (oltre che – se si vuole
adottare un’accezione estensiva del termine – di azioni che applicano regole e convenzio-
ni)” (cfr. Landucci e Marradi 1999: 153, corsivo nostro).
22
Vicinanza desumibile da quanto stretta è la rappresentanza semantica degli indicatori
nei confronti delle dimensioni del concetto e dalle risultanze empiriche provenienti sia dal
mondo dei referenti sia dal mondo della matrice (Marradi 1994: § 8).

58 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

catori in primo luogo validi, e solo in secondo luogo rilevabili agevolmente


o, al limite, ricavabili da dati già disponibili. Nella seconda accezione si
considera l’indicatore un simbolo numerico a sfondo operativo che costitu-
isce, anche se in modo parziale e mediato, un fenomeno sociale in base a
criteri necessari e sufficienti a garantire che tale “misura” (relazione fra gran-
dezze) apporti sul tema in questione un autonomo, potente, connettivo e
controllabile incremento conoscitivo (Cipolla 19884: 363). Si parte dalle in-
formazioni disponibili per definire solo in seconda battuta quali loro elabo-
razioni possano essere considerate validi indicatori del concetto da studiare
(cfr. Palumbo 1995 e 2001: 10).
Tuttavia, anche quando si privilegia il criterio semantico nella procedura di
costruzione degli indicatori, è facile constatare l’assenza di un coordina-
mento nell’ambito di un sistema, di un modello complessivo di indicatori
orientato all’interpretazione dei fenomeni, o alla loro conoscenza e descri-
zione (Zajczyk 1997: 25). Il ricorso agli indicatori sembra spesso casuale,
privo di uno schema interpretativo, di un’adeguata elaborazione concettua-
le, orientato pressoché esclusivamente dalla disponibilità dei dati.
La scarsa chiarezza concettuale non ha aiutato e non aiuta il processo di
sviluppo degli indicatori: si pensi alle dimensioni dell’esclusione sociale più
comunemente considerate caratteristiche essenziali, ad esempio l’essere di-
namica e multistratificata. Spesso, dopo aver pagato un tributo pressoché
formale alla differenza tra povertà ed esclusione sociale, alla natura
multidimensionale e alla dinamicità di quest’ultima, i dati aggregati sul
reddito annuale e sugli strumenti di sostegno sono i principali – se non i
soli – indicatori proposti (García e Saraceno s.d.: 10).
La complessità e la multidimensionalità dei referenti del processo valutativo
hanno ancor più intense ripercussioni sulla valutazione dei servizi
relazionali23. Nell’ambito delle politiche sociali si scontano molte confusio-
ni concettuali, terminologiche e operative che certo non facilitano l’avvio
di un ripensamento complessivo, di ampio respiro, sull’area nel suo com-

23
Riprendendo la definizione di ‘bene relazionale’ proposta da Donati (1993: 121-122,
nota 14), con l’espressione ‘servizio relazionale’ intendiamo un servizio che può essere
prodotto e fruito soltanto assieme dagli stessi produttori e fruitori, tramite le relazioni che
connettono i soggetti coinvolti: il servizio è relazionale per il fatto che è (“sta nella”) rela-
zione.

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 59


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE PAOLO PARRA SAIANI

plesso24. Vi è una consistente carenza di informazione tanto che è arduo


identificare l’esito dei servizi alla persona ed esplicitarlo senza ridondanze o
indebiti riduzionismi (Rossi 1999: 172). Senonché la necessità di
operativizzare concetti dai confini estremamente labili richiede un appro-
fondimento delle loro varie dimensioni attraverso più tecniche e strumenti
di ricerca, rendendo concreta sul piano empirico e operativo la triangolazione
delle tecniche di ricerca.

24
Sulle difficoltà incontrate nell’individuare le dimensioni sottostanti il concetto di qua-
lità del servizio o di qualità in generale si vedano Frudà (1997), Allegri (2000), Robson
(2000).

60 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

Riferimenti bibliografici

Allegri Elena (2000), Valutazione di qualità e supervisione. Connessioni teoriche e strategie operative nel
lavoro sociale, Trieste, Lint.

Anderson Victor (1991), Alternative Economic Indicators, London, Routledge.

Benner Patricia (1984), From Novice to Expert: Excellence and Power in Clinical Nursing Practice,
Menlo Park, Addison-Wesley.

Bezzi Claudio (2001), Il disegno della ricerca valutativa, Milano, Franco Angeli.

Bruschi Alessandro (1999), Metodologia delle scienze sociali, Milano, Bruno Mondadori.

Campbell Donald T. (1964), Distinguishing Differences of Perception from Failures of Communication in


Cross-cultural Studies, in Cross-Cultural Understanding: Epistemology in Anthropology, a cura di Filmer
Stuart Cuckow Northrop e Helen H. Livingston, New York, Harper & Row, pp. 308-336.

Campbell Donald T. (1978), Qualitative Knowing in Action Research, in The Social Context of Method,
a cura di Michael Brenner, P. Marsh e M. Brenner, London, Croom Helm, pp. 184-209 (ristam-
pato in Donald T. Campbell, Methodology and Epistemology for Social Science. Selected papers, a
cura di E. Samuel Overman, Chicago, Chicago University Press, 1988, pp. 360-376).

Campbell Donald T. (1979), “Degrees of Freedom” and the Case Study, in Qualitative and Quantitative
Methods in Evaluation Research, a cura di Thomas D. Cook e Charles S. Reichardt, Beverly Hills,
Sage, pp. 49-67.

Campbell Donald T. e Donald W. Fiske (1959), Convergent and Discriminant Validation by the
Multitrait-Multimethod Matrix, in “Psychological Bulletin”, n. 2, March, pp. 81-105 (ristampa-
to in Donald T. Campbell, Methodology and Epistemology for Social Science. Selected papers, a
cura di E. Samuel Overman, Chicago, Chicago University Press, 1988, pp. 37-61).

Campelli Enzo (1996), Metodi qualitativi e teoria sociale, in Il sociologo e le sirene. La sfida dei metodi
qualitativi, a cura di Costantino Cipolla e Antonio De Lillo, Milano, Franco Angeli, pp. 17-36.

Cannavò Leonardo (1999), Teoria e pratica degli indicatori nella ricerca sociale. Vol. I Teorie e problemi
della misurazione sociale, Milano, LED.

Cardano Mario (1991), Il sociologo e le sue muse. Qualità e quantità nella ricerca sociologica, in “Ras-
segna Italiana di Sociologia”, XXXII, 2, pp. 181-223.

Cazes Bernard (1972), The Development of Social Indicators: a Survey, in Social Indicators and Social
Policy, a cura di Andrew Shonfield e Stella Shaw, London, Heinemann, pp. 9-22.

CEPR (1995), La disoccupazione: scelte per l’Europa, Bologna, il Mulino.

Cipolla Costantino (19884), Teoria della metodologia sociologica. Una metodologia integrata per la
ricerca sociale, Milano, Angeli.

Commissione di Indagine sulla Povertà e l’Emarginazione (1997), Valutazione dell’efficacia di inter-

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 61


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE PAOLO PARRA SAIANI

venti pubblici contro la povertà: questioni di metodo e studi di casi, Roma, Presidenza del Consiglio
dei Ministri, Dipartimento per l’Informazione e l’Editoria.

Corrao Sabrina (2000), Il focus group, Milano, Franco Angeli.

Delli Zotti Giovanni (1996), Quale quantità e quanta qualità nella ricerca sociale: tra integrazione e
convergenza, in Il sociologo e le sirene. La sfida dei metodi qualitativi, a cura di Costantino Cipolla
e Antonio De Lillo, Milano, Franco Angeli, pp. 136-166.

Denzin Norman K. (19703), The Research Act, Chicago, Aldine Publishing Co.

Denzin Norman K. (1989), Interpretative Interactionism, Newbury Park, Sage.

Desrosières Alain (1997), Refléter ou instituer: l’invention des indicateurs statistiques, in Les indicateurs
socio-politiques aujourd’hui, a cura di Elisabeth Dupoirier e Jean-Luc Parodi, Paris, L’Harmattan,
pp. 15-33.

Donati Pierpaolo (1993), La cittadinanza societaria, Roma-Bari, Laterza.

Dreyfus Hubert L. e Stuart E. Dreyfus (1986), Mind over Machine: The Power of Human Intuition
and Expertise in the Era of the Computer, Oxford, Basil Blackwell.

Etzioni Amitai e Edward W. Lehman (1967), Some Dangers in “Valid” Social Measurement, in “The
Annals of the American Academy of Political and Social Science”, September.

Fook Jan, Martin Ryan e Linette Hawkins, Towards a Theory of Social Work Expertise, in “British
Journal of Social Work”, 27(3), 1997, pp. 339-417.

Frudà Luigi (1997), Ricerca valutativa, controllo di qualità e innovazione nella pubblica amministra-
zione e nella gestione dei servizi pubblici, in “Studi di Sociologia”, XXXV, aprile-giugno, pp. 127-
167.

García Marisol e Chiara Saraceno (s.d.), Introduction, in The Evaluation of Social Policies against
Social Exclusion at the Local Urban Level (ESOPO), a cura di Chiara Saraceno, mimeo.

Gasperoni Giancarlo e Alberto Marradi (1996), Metodo e tecniche nelle scienze sociali, in Enciclopedia
delle Scienze Sociali, Roma, Istituto della Enciclopedia italiana, vol. V, pp. 624-643.

Glaser Barney G. e Anselm L. Strauss (1967), The Discovery of Grounded Theory, Chicago, Aldine.

Gobo Giampietro (2001), Descrivere il mondo. Teoria e pratica del metodo etnografico in sociologia,
Roma, Carocci.

Gould Nick (1999), Qualitative Practice Evaluation, in Evaluation and Social Work Practice, a cura di
Ian Shaw e Joyce Lishman, London, Sage, pp. 63-80.

Guala Chito (1991), I sentieri della ricerca sociale, Roma, NIS.

Guala Chito (1996), Introduzione. L’intervista tra qualità e quantità, in Intervista e conversazione.
Strategie di comunicazione e affidabilità dei dati, a cura di Chito Guala, Genova, Costa & Nolan.

62 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

Guala Chito (2000), Metodi della ricerca sociale. La storia, le tecniche, gli indicatori, Roma, Carocci.

Green Jennifer C. (20002), Understanding Social Programs Through Evaluation, in Handbook of


Qualitative Research, a cura di Norman K. Denzin e Yvonna S. Lincoln, Thousand Oaks, Sage,
pp. 981-999.

Hammersley Martyn e Paul Atkinson (1983), Ethnography: Principles in Practice, London, Tavistock.

Kaplan Abraham (1964), The Conduct of Inquiry. Methodology for Behavioral Science, New York,
Harper & Row.

Lakatos Imre (1970), Falsificationism and the Methodology of Scientific Research Programmes, in Criticism
and the Growth of Knowledge, a cura di Imre Lakatos e Alan Musgrave, Cambridge, Cambridge
University Press (trad. it. Critica e conoscenza della conoscenza, Milano, Feltrinelli, 1976).

Lakatos Imre (1995), Lezioni sul metodo, in Imre Lakatos e Paul K. Feyerabend, Sull’orlo della scien-
za. Pro e contro il metodo, Milano, Cortina.

Landucci Sandro e Alberto Marradi (1999), Paul Felix Lazarsfeld: quel che direbbe l’avvocato del
diavolo, in Paul Felix Lazarsfeld: un “classico” marginale, a cura di Enzo Campelli, Antonio Fasanella
e Carmelo Lombardo, in “Sociologia e ricerca sociale”, XX, nn. 58-59, pp. 150-164.

Lazarsfeld Paul Felix (1968), The Uses of Sociology, London, Weidenfeld and Nicholson.

Lishman Joyce (1999), Introduction, in Evaluation and Social Work Practice, a cura di Ian Shaw e
Joyce Lishman, London, Sage, pp. 1-13.

Marradi Alberto (19843), Concetti e metodo per la ricerca sociale, Firenze, Giuntina.

Marradi Alberto (1990), Fedeltà di un dato, affidabilità di una definizione operativa, in “Rassegna
Italiana di Sociologia”, XXXI, n. 1, gennaio-marzo, pp. 55-96.

Marradi Alberto (1994), Referenti, pensiero e linguaggio: una questione rilevante per gli indicatori, in
“Sociologia e ricerca sociale”, XV, n. 43, pp. 137-207.

Marradi Alberto (1996), Due famiglie e un insieme, in Il sociologo e le sirene. La sfida dei metodi qualitativi,
a cura di Costantino Cipolla e Antonio De Lillo, Milano, Franco Angeli, pp. 167-178.

Palumbo Mauro (1995), Indicatori e valutazione di efficacia delle policies, in “Sociologia e ricerca
sociale”, 47-48, pp. 317-342.

Palumbo Mauro (2001a), The Mechanisms of Processes’ Evaluation: Quantitative, Qualitative and
Dynamic Indicators, European Workshop, Montpellier, 16 giugno 2001, paper.

Palumbo Mauro (2001b), Qualità ed efficacia nei servizi: convergenza o coincidenza?, in “Politiche
sociali e servizi”, III, 1, pp. 65-87.

Palumbo Mauro (2001c), Il processo di valutazione. Decidere, programmare, valutare, Milano, Franco
Angeli.

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 63


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE PAOLO PARRA SAIANI

Parra Saiani Paolo (1999), Percorsi di formazione tra politiche attive del lavoro e politiche sociali, in
Sfide formative in uno scenario in transizione, a cura di Guido Lazzarini e Anna Cugno, Milano,
Franco Angeli, pp. 221-242.

Parra Saiani Paolo (2000), Quale valutazione per le politiche attive del lavoro, in La valutazione delle
politiche del lavoro e della formazione, a cura di Maura Franchi e Mauro Palumbo, “Sociologia
del lavoro”, 77, pp. 89-102.

Parra Saiani Paolo (2001), Précarité de l’emploi et risques émergents. Vers une approche multidimensionnelle
à l’évaluation des politiques sociales, Actes des Huitièmes Journées de Sociologie du Travail Marchés
du travail et differenciations sociales. Approches comparatives, Aix-en-Provence, Laboratoire d’Eco-
nomie et de Sociologie du Travail (LEST), pp. 143-151.

Parra Saiani Paolo (2002), La valutazione tra arte e scienza, in “Quaderni di Sociologia”, in corso di
stampa.

Potter Jonathan e Margaret Wetherell (1987), Discourse and Social Psychology. Beyond Attitudes and
Behaviour, London, Sage.

Reichardt Charles S. e Thomas D. Cook (1979), Beyond Qualitative versus Quantitative Methods, in
Qualitative and Quantitative Methods in Evaluation Research, a cura di Thomas D. Cook e Charles
S. Reichardt, Beverly Hills, Sage, pp.7-32.

Ricolfi Luca (1997), La ricerca empirica nelle scienze sociali: una tassonomia, in La ricerca qualitativa,
a cura di Luca Ricolfi, Roma, NIS, pp. 19-43.

Robson Colin (2000), Small-Scale Evaluation, London, Sage.

Rossi Giovanna (1999), I servizi alla persona in Italia: risorse, obiettivi, norme e cultura, in Lo stato sociale
in Italia. Bilanci e prospettive, a cura di Pierpaolo Donati, Milano, Mondadori, pp. 169-224.

Rossi Peter H., Howard E. Freeman e Mark W. Lipsey (19936), Evaluation. A Systematic Approach,
Thousand Oaks, Sage.

Saraceno Chiara (1999), Per l’introduzione di un reddito minimo di inserimento, in “Tutela”, V, 4,


aprile, pp. 2-4.

Scriven Michael (1972), Objectivity and Subjectivity in Educational Research, in Philosophical Redirection
of Educational Research: The Seventy-first Yearbook of the National Society for the Study of Education,
a cura di Lawrence G. Thomas, Chicago, University of Chicago Press.

Schön Donald A. (1983), The Reflective Practitioner. How Professionals Think in Action, New York,
Basic Books.

Sherman Edmund e William J. Reid, a cura di (1994), Qualitative Research in Social Work, New
York, Columbia University Press.

Silverman David (1993), Interpreting Qualitative Data. Methods for Analysing Talk, Text and Interaction,
London, Sage.

64 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001


Q
UALITÀ E QUANTITÀ NELLA VALUTAZIONE Triangolazione e processi valutativi

Smith John K. (1989), The Nature of Social and Educational Inquiry: Empiricism versus Interpretation,
Norwood, Ablex.

Smith Herman W. (1975), Strategies of Social Research. The Methodological Imagination, Englewood
Cliffs, Prentice-Hall.

Trow Martin A. (1957), Comment on Participant Observation and Interviewing: a Comparison, in


“Human Organization”, 16, pp. 33-35.

Usher Robin e Richard Edwards (1994), Postmodernism and Education, London, Routledge.

Webb Eugene J., Donald T. Campbell, Richard D. Schwartz e Lee Sechrest (1966), Unobtrusive
Measures: Nonreactive Research in the Social Sciences, Chicago, Rand McNally.

Weber Max (1917), Der Sinn der „Wertfreiheit“ der soziologischen und ökonomischen Wissenschaften,
in Max Weber, Gesammelte Aufsätze zur Wissenschaftslehre, Tübingen, Mohr, 1922, 2a ed. a cura
di J. Winckelmann, 1951 (trad. it. Il significato della “avalutatività” delle scienze sociologiche e
economiche, in Max Weber, Il metodo delle scienze storico-sociali, Torino, Einaudi, 1958, pp. 309-
375).

Weber Max (1904), Die „Objektivität“ sozialwissenschaftlicher und sozialpolitischer Erkenntnis, in M.


Weber, Gesammelte Aufsätze zur Wissenschaftslehre, Tübingen, Mohr, 1922, 2a ed. a cura di J.
Winckelmann, 1951 (trad. it. L’“oggettività” conoscitiva della scienza sociale e della politica sociale,
in Max Weber, Il metodo delle scienze storico-sociali, Torino, Einaudi, 1958, pp. 53-141).

Zajczyk Francesa (1997), Il mondo degli indicatori sociali. Una guida alla ricerca sulla qualità della
vita, Roma, NIS.

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001 65