Sei sulla pagina 1di 53

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Landes-Evaluationsstelle fr das italienischsprachige Bildungssystem

Servizio provinciale di valutazione per l'istruzione e la formazione in lingua italiana

Linterpretazione e luso dei risultati INVALSI da parte delle scuole

Merano 12 dicembre 2013 Rossella Garuti rossella.garuti@provincia.bz.it

Schema della presentazione


1. Laccountability: il render conto 2. La valutazione nazionale: le prove INVALSI 3. I dati di scuola: cosa viene restituito, come leggerli e come utilizzarli 4. Utilizzare i dati per migliorare la didattica: strumenti
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

1. Il bisogno di render conto


Le domande: Come valorizzare i risultati della scuola? Come verificare che gli investimenti fatti stiano andando nella giusta direzione? Come sapere se gli incrementi di conoscenze dei nostri studenti sono in linea con gli altri paesi? .

La risposta: Disponibilit di dati confrontabili a livello nazionale ed internazionale


AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

1. Il bisogno di render conto

Un video interessante Andreas Scleicher (direttore della ricerca OCSE- PISA)


http://www.ted.com/talks/andrea s_schleicher_use_data_to_build_ better_schools.html

remember: Without data, you are just another person with an opinion
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

1. Il bisogno di render conto

E necessario confrontarsi per poter ragionare in modo laico su una serie di pre-giudizi: piccolo bello
pi tempo-scuola= migliori risultati pi danaro = migliori risultati

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

2. La valutazione nazionale: le prove INVALSI il piano delle rilevazioni 2013-2014


II primaria
6-7- maggio V primaria 6-7 maggio I secondaria di primo grado

III sec. di I grado Prova Nazionale 19 giugno


II secondaria di secondo grado 13 maggio
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

2. La valutazione nazionale: le prove INVALSI


Quadro di riferimento per la valutazione Quadri di riferimento per le valutazioni internazionali

Quadro di riferimento per i curricoli

Prassi scolastica
AUTONOME PROVINZ BOZEN - SDTIROL

Esiti delle rilevazioni precedenti


PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

2. La valutazione nazionale: le prove INVALSI

La composizione di una prova standardizzata rivolta allaccertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti allinterno di una scala di abilit/competenza molto lunga, dai livelli pi bassi a quelli di eccellenza.

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

2. La costruzione dei fascicoli INVALSI


Produzione delle domande da parte degli autori Selezione e classificazione Costruzione dei fascicoli per il pre-test

Prova sul campo


Analisi statistica Analisi didattica

Fascicolo definitivo
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

VERSIONE PRE-TEST: un esempio


D24. Il nonno Andrea e sua nipote Marta stanno camminando vicini lungo un sentiero. Ogni due passi che fa il nonno Marta ne deve fare 3 per restare affiancata al nonno. Dopo che il nonno Andrea ha fatto 40 passi quanti passi ha fatto Marta? A. B. C. 40 60 80

D.

120

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Versione finale

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

2. La valutazione nazionale: le prove INVALSI

Aspetti significativi del QDR

Fascicolo definitivo

Aspetti misuratori

Ultima revisione del testo per eliminare al massimo le ambiguit di tipo linguistico SOMMINISTRAZIONE
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati INVALSI

1. A livello di sistema scolastico

1. Decisori politici (MIUR, Intendenza, CSP,..)

2. A livello di Istituto Scolastico

2. Dirigente Scolastico, referente,commissione

3. A livello didattico

3. Docenti e Dipartimenti

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola DATI INVALSI


Percorso di autovalutazione
Potenziamento e miglioramento dellazione didattica

istituto e singola classe

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola

Perch la valutazione riguarda tutte le classi e non a campione, come

avviene in tanti altri paesi?

Chi pu vedere/utilizzare i risultati delle prove?


Perch il presidente del consiglio di istituto potr vedere alcuni risultati? Le prove si estenderanno anche alle classi terminali? Quali aree

disciplinari?
Quali informazioni sulla formazione delle classi? Come sono collegati i risultati delle prove con i voti degli scrutini? Come utilizzare i risultati nel consiglio di classe? .
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola


L INVALSI restituisce sullandamento: ad ogni singola scuola dati

complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dellItalia, dellarea geografica e della regione di appartenenza (nel caso di Bolzano della provincia);
delle singoli classi nelle prove di italiano e di matematica nel loro complesso; della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

I risultati della provincia di Bolzano (l.it.)


livello ITA MAT Media TRENTO
201 204
Ita 211 Mat 210 Ita 207 Mat 211 Ita 202 Mat 210 Ita 212 Mat 213

Media NORD-EST
Ita 203 Mat 202 Ita 204 Mat 205 Ita 204 Mat 207 Ita 209 Mat 210

20122013
+

II primaria V primaria I sec. I gr. III sec. I gr.

197
205

199
209

= =
+ +

201 210

205 211

II sec. II gr.

Ita 218 Mat 226

Ita 207 Mat 213


PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

+ ++

AUTONOME PROVINZ BOZEN - SDTIROL

ITA I secondaria di primo grado

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

MAT I secondaria di primo grado

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

ITA III secondaria di primo grado

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

MAT III secondaria di primo grado

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: uno sguardo dinsieme Schermata iniziale

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Italiano

Punteggio medio Cheating = Punteggio medio della classe

Insieme di anomalie che alterano gli esiti della prova. L'effetto del cheating misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato mediamente da attribuire alle predette anomalie.
3

L'ESCS l'indice di status socio-economico-culturale. Esso misura il livello del background dello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilit di risorse economiche. La differenza calcolata rispetto al risultato medio delle 200 classi/scuole con background socio-economico-culturale (ESCS) pi simile a quello della classe/scuola considerata.
4

I livelli del background sono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto.
5

La frecce rivolte verso l'alto e verso il basso indicano una BOZEN differenza rispettivamente positiva e negativa statisticamente significativa, con una probabilit superiore al AUTONOME PROVINZ - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTOossia ADIGE 95% di verificarsi anche nella popolazione e non solo nel campione. Le frecce orizzontali indicano, invece, una differenza positiva o negativa statisticamente non significativa.

Una diversa visualizzazione dei risultati complessivi

-1,8

+11,5

SNV 2011/2012 Grafico 1b: Risultato complessivo della prova di Matematica - Classe I secondaria di I grado
60 58 56 54 52 50 48 46 44 42

40
AUTONOME PROVINZ BOZEN - SDTIROL 412099990601 412099990603 PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE 412099990606 412099990608 Lazio

Italia

3. La lettura dei risultati di scuola: uno sguardo dinsieme


Ci sono andamenti diversi fra le classi? Perch? Ci sono differenze fra MAT e IT? Le differenze fanno riferimento a tipologie diverse (tempo pieno, )? A vissuti diversi?

Lindice di status socio-economico-culturale ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono diverse tra loro? Se s, perch?

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: la variabilit

ESCS: il questionario studenti


AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: la variabilit

I risultati delle classi (punteggio) sono omogenei allinterno della scuola? Le classi sembrano ben formate? Lo status socio-economico-culturale omogeneo tra le classi? E in linea con il dato nazionale?

.
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: la variabilit


100.0 80.0

SNV 2011/2012 Grafico 2a: Incidenza della variabilit TRA le classi rispetto alla variabilit totale, nel punteggio della prova di Italiano e nell'indice di background familiare (ESCS) Classe V primaria

Valori percentuali

60.0 40.0 21.6 11.2 24.3 12.5 20.0

Situazione di relativo equilibrio: confronto LIV.05 e Liv.06

0.0

TRA/TOT (punteggio)

TRA/TOT (ESCS)

SNV 2011/2012 Grafico 2a: Incidenza della variabilit TRA le classi rispetto alla variabilit totale, nel punteggio della prova di Italiano e nell'indice di background familiare (ESCS) Classe I secondaria di I grado
Valori percentuali
100.0 80.0 60.0 40.0 20.0 0.0 7.4 11.1 8.9 9.3

AUTONOME PROVINZ BOZEN - SDTIROL

TRA/TOT (punteggio) TRA/TOT PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

(ESCS)

3. La lettura dei risultati di scuola: la variabilit


Situazione di relativo squilibrio nei punteggi

ITA- Liv. 10 Ist. Tecnico

MATE- Liv. 10 Ist.Tecnico

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: la variabilit


Situazione di relativo squilibrio nellESCS
ITA- Liv. 10 Liceo

MATE- Liv. 10 Liceo

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: la variabilit


Classe II primaria, come per la PN (LIV.08) non c ESC perch non c il questionario studenti
SNV 2011/2012 Grafico 2a: Incidenza della variabilit TRA le classi e DENTRO le classi nella prova di Italiano Classe II primaria
100.0 90.0 80.0 70.0 95.2 85.1

Valori percentuali

60.0 50.0

Alta variabilit dentro le classi, bassa variabilit tra le classi. Si pu dire che le classi sono omogenee fra loro.

40.0
30.0 20.0 14.9 4.8

10.0
0.0

DENTRO/TOT
AUTONOME PROVINZ BOZEN - SDTIROL

TRA/TOT
MOIC80500Q Italia PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: i livelli <110%Risultati <


Risultati < 75% media nazionale <75%Risultati < 95% media nazionale <95%Risultati < 110% media nazionale 125% media nazionale

Risultati > 125% media nazionale

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Dal + BASSOal + ALTO

3. La lettura dei risultati di scuola: i livelli


Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosit

15 6 6 23 20 7

12 14 44

Discrepanza fra ITA e MATE


AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosit

Sostanziale equilibrio fra ITA e MATE


AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: i livelli

La distribuzione per livelli nelle singole classi equilibrata? Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove? Quanti sono gli studenti i cui risultati sono molto diversi? Ci sono differenze significative fra le due discipline? Quali ipotesi si possono fare?
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: correlazioni

Voti di scuola e punteggi INVALSI: nelle classi e tra le classi

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: correlazioni

Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI? Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa? Ci sono differenze nei metri di valutazione degli insegnanti della scuola? Ci sono differenze fra primaria e secondaria? Fra primo ciclo e secondo ciclo? .
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: correlazioni


SNV 2011/2012 Grafico 4a: Confronto tra voto di classe e punteggio nella prova di Italiano Classe II secondaria di II grado (Scuola XXXXXXXX)
84

Liceo Bologna

Punteggio medio alla prova INVALSI

82

80

78

Il range del voto medio di scuola tra il 6 e il 7!

10006

10005 10009 10010 10007

10008

10002

76
10003

10004

74

72

10001

1.0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

Voto medio di classe (media dei voti scritto e orale)

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: un grafico utile

XXXXXXX XX

Media Nazionale

Media Nazionale dei soli studenti italiani

Media di una scuola con ESCS simile

Media nazionale

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

40

Risultati della prova di Italiano (o Matematica) rispetto a


90,0 85,0 80,0

PN 2011/2012 Risultato della prova di Italiano rispetto alla cittadinanza

Cittadinanza Regolarit
PN 2011/2012 Risultato della prova di Matematica rispetto alla regolarit del percorso di studi
75,0

75,0 70,0 65,0 60,0 55,0Studenti italiani 50,0

Studenti stranieri I generazione

Studenti stranieri II generazione

70,0
65,0

60,0 55,0 50,0

80,0

PN 2011/2012 Risultato della prova di Matematica rispetto al genere

45,0

40,0

Studenti regolari

Studenti anticipatari

75,0

70,0

Studenti posticipatari

65,0

60,0

MASCHI
55,0

Genere
AUTONOME PROVINZ BOZEN - SDTIROL

FEMMINE

50,0

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE


Centro_F Italia_F

SCUOLA RMMM208009_M

Lazio_M

Centro_M

Italia_M

SCUOLA RMMM208009_F

Lazio_F

3. La lettura dei risultati di scuola: cittadinanza, regolarit, genere


I dati possono servire per sfatare alcuni pregiudizi
SNV 2011/2012 Grafico 3d: Risultato della prova di Matematica rispetto alla cittadinanza Classe I secondaria di I grado
55.0 50.0 45.0 40.0 35.0 30.0
I: italiani

25.0
20.0

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: cittadinanza, regolarit, genere


I dati possono servire per sfatare alcuni pregiudizi
SNV 2011/2012 Grafico 3d: Risultato della prova di Matematica rispetto alla cittadinanza Classe I secondaria di I grado
55.0 50.0 45.0 40.0 35.0 30.0 80.0 75.0 70.0 65.0 60.0 55.0 50.0
I: italiani

PN 2010/2011 Risultato della prova di Italiano rispetto alla regolarit del percorso di studi

25.0
20.0

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

3. La lettura dei risultati di scuola: cittadinanza, regolarit, genere

Quanti stranieri S1 e S2 ci sono? Sono un numero significativo? La presenza (consistente) di stranieri come ha inciso sui risultati degli studenti italiani? E rispetto agli studenti S1 e S2? Ci sono differenze fra matematica e italiano? Se s, perch?

I dati possono farci riflettere sulle bocciature?


AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

4.Usare i dati per migliorare la didattica: strumenti

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

4.Usare i dati per migliorare la didattica: strumenti

% scelta distrattori

% risposte corrette

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

PN 2013

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Classificazione item

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Commento dalla Guida:

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

4.Usare i dati per migliorare la didattica: strumenti

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

4.Usare i dati per migliorare la didattica: strumenti

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Conclusioni
First we have data It is a capital mistake to theorize before one has data.
( Sherloch Holmes, A Study in Scarlett, Arthur Conan Doyle)

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Potrebbero piacerti anche