26/05/2016

Prova intermedia
• Martedì 31 maggio, ore 10.30, in aula 1, si terrà la
prova intermedia di recupero per coloro che hanno
ottenuto un risultato insufficiente.
• Quanti hanno invece ottenuto un risultato
sufficiente ma vogliono rifare la prova intermedia
devono informare il docente via mail entro venerdì
27 maggio.
• Si ricorda che quanti hanno ottenuto una
insufficienza grave non possono più sostenere
l’esame come frequentanti.

DIPARTIMENTO DI SCIENZE SOCIALI E POLITICHE

Anno Accademico 2015/2016

Metodologia della Ricerca Sociale e Valutativa (GLO)
prof. Ferruccio Biolcati Rinaldi

Settima settimana
LA VALUTAZIONE DELLE POLITICHE
PUBBLICHE

1

Di che cosa parleremo questa settimana?
Riferimenti Bibliografici
• Definizioni, finalità, oggetti,
momenti, criteri, domande,
attori, usi
• Approcci
• La valutazione realistica
• La valutazione basata sulla
teoria
La valutazione
delle politiche pubbliche
26/05/2016
• Moro G., 2005, La valutazione delle politiche pubbliche,
Roma, Carocci, pp. 10-45.
• Biolcati Rinaldi F. (2008), “Meccanismi e valutazione: un
confronto tra approcci” in Rassegna Italiana di
Valutazione, v. XII, n. 42, pp. 27-51, ISSN 1826-0713.
• Per approfondire:
• De Ambrogio U. (a cura di), 2003, Valutare gli interventi
e le politiche sociali, Roma, Carocci.
• Lippi A., 2007, La valutazione delle politiche pubbliche,
Bologna, il Mulino.
• Rossi P. H., Freeman H. E. e Lipsey M. W., 1999,
Evaluation. A systematic approach, sesta edizione,
Thousand Oaks (CA), Sage.
• Stame N., 1998, L’esperienza della valutazione, Roma,
Seam.
• Stame N., 2001a, “Tre approcci principali alla
valutazione: distinguere e combinare” in Palumbo M., Il
processo di valutazione. Decidere, programmare,
valutare, Milano, Franco Angeli, pp. 21-46.
• Tavistock Institute (in collaborazione con GHK e IRS),
2003, La valutazione dello sviluppo socio-economico. La
guida:
– http://www.retenuvv.it/utilita/guide/trad_evalsed.ph
p
• Weiss C.H. (1998), Evaluation. Methods for studying
programs and policies, Prentice Hall, Upper Saddle River,
NJ.
2
 26/05/2016

LA VALUTAZIONE DELLE PP:

DEFINIZIONI (1/3) (De Ambrogio 2003, 23-26)

• [Valutare significa] analizzare se un’azione intrapresa per uno

scopo corrispondente ad un interesse collettivo abbia
ottenuto gli effetti desiderati o altri, ed esprimere un giudizio
sullo scostamento che normalmente si verifica, per proporre
eventuali modifiche che tengano conto delle potenzialità
manifestatesi […] si valuta per sapere non solo se un’azione è
stata conforme ad un programma esistente, ma anche se il
programma è buono (Stame, 1998, p. 91).
• [La valutazione è una] produzione di informazione (per dare
giudizi) su attività pubbliche, con l’intento di migliorarle
(Martini).
• [La valutazione è una] attività cognitiva rivolta a fornire un
giudizio su di un’azione intenzionalmente svolta o che si
intende svolgere, destinata a produrre effetti esterni, che si
fonda su un’attività di ricerca delle scienze sociali e che segue
procedure rigorose e codificabili (Palumbo, 2001, p. 59).
DIPARTIMENTO DI STUDI SOCIALI E POLITICI

LA VALUTAZIONE DELLE PP:

DEFINIZIONI (2/3) (De Ambrogio 2003, 23-26)

• [La valutazione è un] processo che ricerca e valorizza gli

aspetti contraddittori e inattesi che mettono fortemente in
crisi il modello dato e li considera tracce di un ordine diverso
la cui rivelazione costituisce oggetto di specifiche attenzioni
(Setti Bassanini, 1991, p. 239).
• […] la valutazione ha lo scopo di assegnare un valore all’azione
svolta e di riuscire a comunicarlo agli altri. Questa duplice
anima di giudizio e di comunicazione determina la natura del
processo valutativo, la complessità che deve essere affrontata
(Bertin, Porchia, 2000, p. 81).
• La valutazione è principalmente (ma non esclusivamente)
un’attività di ricerca sociale applicata, realizzata nell’ambito di
un processo decisionale, in maniera integrata con le fasi di
programmazione, progettazione e intervento, avente come
scopo la riduzione della complessità decisionale, attraverso
l’analisi degli effetti diretti e indiretti, attesi e non attesi, voluti
e non voluti, dell’azione, compresi quelli non riconducibili ad
DIPARTIMENTO DI STUDI SOCIALI E POLITICI

aspetti materiali (Bezzi, 2001, p. 29).

3
 26/05/2016

LA VALUTAZIONE DELLE PP:

DEFINIZIONI (3/3) (De Ambrogio 2003, 23-26)

• La valutazione delle politiche pubbliche:

– è un’espressione di giudizio rispetto ad azioni di interesse
collettivo (Stame);
– ha l’intento di migliorare gli interventi e le politiche
pubbliche (Martini);
– è svolta attraverso attività di ricerca realizzate con metodi
rigorosi e codificabili (Palumbo);
– valorizza gli aspetti inattesi e contraddittori (Setti
Bassanini);
– deve essere comunicata a terzi in modo esplicito e
trasparente (Bertin, Porchia);
– avviene all’interno di un processo nel quale valutazione e
progettazione sono integrati (Bezzi).

DIPARTIMENTO DI STUDI SOCIALI E POLITICI

LE FINALITÀ DELLA VALUTAZIONE

(Moro 2005, 23-26)

• Sostegno dei processi decisionali

– Valutare per giudicare e decidere sul merito di un
programma
• Continuare o abbandonare
• Rendere conto
– Valutare per migliorare un programma (attuazione)
• Apprendimento sociale e organizzativo
– Valutare per accrescere la conoscenza sul funzionamento
dei programmi
– Valutare per accrescere la capacità di apprendimento e
riflessione delle organizzazioni e degli attori sociali
implicati in un programma.
DIPARTIMENTO DI STUDI SOCIALI E POLITICI
• Sovrapposizioni

4
 26/05/2016

GLI OGGETTI DELLA VALUTAZIONE

(evalsed)

• Progetto: operazione non divisibile, delimitata in termini di

tempo e risorse di bilancio e posta sotto la responsabilità di
un operatore.
• Programma: serie organizzata di interventi comportanti l’uso
di risorse finanziarie, organizzative e umane attivate per
raggiungere un obiettivo o una serie di obiettivi in un dato
periodo.
• Politica: una serie di attività diverse (programmi, strategie,
procedure, leggi, regolamenti) finalizzate a un singolo scopo o
obiettivo generale. Tali attività spesso si accumulano in modo
incrementale col passare degli anni.
• Altro: servizio, caso, ecc.
DIPARTIMENTO DI STUDI SOCIALI E POLITICI

I TRE MOMENTI DELLA VALUTAZIONE

(De Ambrogio 2003, 34-35)

• La valutazione ex ante su attività progettate ma non

realizzate, è la valutazione svolta prima dell’approvazione e/o
della successiva implementazione di un progetto.
• La valutazione in itinere è quella valutazione che si realizza
mentre il processo valutato è ancora in corso, al fine di
conseguire l’adattamento e la correzione di eventuali
deviazioni dal progetto originario, a causa di errori di
progettazioni o di modificazioni del contesto.
• La valutazione ex post è quella valutazione che viene
effettuata al termine di un intervento, dopo cioè che è stato
completato. L’obiettivo della valutazione ex post è di studiare
se e come il progetto abbia raggiunto gli obiettivi prefissati ed
eventuali risultati ulteriori nonché immaginare soluzioni
adeguate per analoghi interventi in futuro.

DIPARTIMENTO DI STUDI SOCIALI E POLITICI

5
 26/05/2016

I CRITERI DI VALUTAZIONE
(evalsed)

DIPARTIMENTO DI STUDI SOCIALI E POLITICI

OUTPUT, OUTCOME AND IMPACT

(evalsed)

• Realizzazioni: ciò che è finanziato e concluso (o concretizzato)

attraverso i fondi allocati per un intervento. Attrezzature e
opere ma anche servizi immateriali.
• Esiti/risultati: vantaggio (o svantaggio) che i beneficiari diretti
ottengono al temine del loro coinvolgimento in un intervento
pubblico o quando una dotazione pubblica è stata completata.
• Impatti: conseguenza che influenza i beneficiari diretti in
seguito alla loro partecipazione a un intervento o al
completamento di strutture pubbliche o anche una
conseguenza indiretta che influenza altri beneficiari che
possono risultare vincenti o perdenti. Lungo periodo.

DIPARTIMENTO DI STUDI SOCIALI E POLITICI

6
 26/05/2016

ALCUNI CONCETTI DERIVANTI

DALLA TEORIA ECONOMICA (evalsed)

• Addizionalità ed effetti inerziali

– l’intervento è stato addizionale rispetto a ciò che
altrimenti avrebbe avuto luogo?
– l’intervento ha generato realizzazioni, risultati e
impatti che si sarebbero verificati comunque?
• Spiazzamento: l’intervento ha causato un
rallentamento dello sviluppo socio-economico
altrove?

DIPARTIMENTO DI STUDI SOCIALI E POLITICI

Gli attori della valutazione

(stakeholder)
• Valutatori
• Committenti
• Decisori
• Manager e staff
• Beneficiari
• Organizzazioni politiche e di rappresentanza
degli interessi presenti in un territorio

• Valutazione interna ed esterna

7
 26/05/2016

L’UTILIZZO DELLA VALUTAZIONE

• Uso strumentale e diretto: sulla base dei risultati valutativi
politici, amministratori, ecc., prendono decisioni immediate
relativamente ai programmi: continuare, modificare,
estendere, abolire, ecc.
– Retorica e realtà: critica di non unicità
• Uso concettuale o indiretto: modificare le idee degli individui
a proposito di certi temi, chiarire un problema, comprendere
meglio come funzionano i programmi.
• Uso persuasivo: la valutazione viene usata per convincere le
persone di una posizione già presa, per supportare o rifiutare
posizioni politiche, per difendere o attaccare lo status quo.

DIPARTIMENTO DI STUDI SOCIALI E POLITICI

LE FAMIGLIE VALUTATIVE (Stame 2001)

• Approccio positivista-sperimentale: si valuta il programma

rispetto ai suoi obiettivi, modello dell’azione razionale
(obiettivi, mezzi, risultati), validità interna ed esterna,
esperimento e quasi-esperimento, gold standard nonostante
le critiche.
• Approccio pragmatista-della qualità: non si valuta il singolo
programma rispetto ai suoi obiettivi specifici ma più
programmi vengono valutati comparativamente rispetto a
standard di qualità comuni, particolarmente adatto alla
valutazione di servizi offerti su base regolare per soddisfare
bisogni ricorrenti.
• Approccio costruttivista-del processo sociale: il successo del
programma è definito dagli stakeholder, il programma muta a
contatto col contesto per cui necessariamente la pietra di
paragone utilizzata dalla valutazione viene definita dagli
stakeholder durante lo svolgimento del programma e non a
priori prima che il programma abbia ancora da iniziare.

8

La valutazione realistica
La valutazione degli interventi locali
di assistenza economica
Contesto
I servizi sociali offrono oltre al
contributo delle misure
integrative
Madri sole, oltre al sostegno
economico vengono offerti
servizi di cura dell’infanzia
La misura è erogata in maniera
tale che i beneficiari non la
percepiscono come un diritto
certo
Offerta di lavori che offrono un
reddito incerto e irregolare
26/05/2016
Meccanismo Risultato
Questi inducono negli individui Successo
un’attitudine propositiva
rafforzandone gli sforzi per la
ricerca di un lavoro
Aumentando il controllo sulla Successo
loro situazione, è possibile per
queste madri impostare strategie
di uscita dall’assistenza
economica
Sono disincentivati Fallimento
dall’implementare strategie di
medio periodo per risolvere la
loro situazione preferendo
strategie di breve periodo
Preferiscono il reddito basso ma Fallimento
certo e regolare dell’assistenza
9
 26/05/2016

Context + Mechanism = Outcome

Contesto
Meccanismo

Risultato

Il ciclo scientifico realista

Generalizzazione: Teoria e ipotesi:

specificazione configurazioni CMO

Osservazione empirica:
pluralismo

10
 26/05/2016

La valutazione
basata sulla teoria

DIPARTIMENTO DI STUDI SOCIALI E

POLITICI

Un esempio di teoria complessa (Weiss 1998, 63)

Le visite degli insegnanti a casa degli alunni

11
 26/05/2016

Modi di concepire
le politiche pubbliche e la valutazione
Razionalità assoluta/sinottica Razionalità limitata
Decisione
Obiettivi Chiari Non chiari
Informazioni Adeguate Inadeguate
Confronto tra alternative Tutte le possibili Contestuali
Risultati Ottimali Soddisfacenti
Livello di diffusione Alto in valutazione Alto nelle scienze sociali
Valutazione
Tipo Orientata dagli obiettivi Orientata dalla teoria
Domanda Sono stati raggiunti gli obiettivi Cosa è successo veramente e perché
Rappresentazione dei sistemi Semplificazione Complessità (orizzontale e verticale)
Metodo e tecniche quantitative Solo Anche
Livello di diffusione Mainstream In rapida crescita
Uso dei risultati della valutazione Strumentale Concettuale

(Adattato da Stame 2008)

Il calendario della prossima settimana

Lezione Esercit. Giorno Ora Aula Docente
17 Mag. 30 16.30 4 Biolcati
18 31 16.30 4 Biolcati
11 (A-L) Giu. 1 12.30 2 Gaiaschi
11 (M-Z) 1 16.30 2 Gaiaschi
19 1 18.30 4 Biolcati

12