L'interpretazione e L'uso Dei Risultati INVALSI Da Parte Delle Scuole

AUTONOME PROVINZ BOZEN - SDTIROL
PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
Landes-Evaluationsstelle fr das italienischsprachige Bildungssystem
Servizio provinciale di valutazione per l'istruzione e la formazione in lingua italiana
Linterpretazione e luso dei risultati INVALSI da parte delle scuole
Bolzano, 25 novembre2013
Rossella Garuti rossella.garuti@provincia.bz.it
Schema della presentazione

1. Laccountability: il render conto 2. La valutazione nazionale: le prove INVALSI 3. I dati di scuola: cosa viene restituito, come leggerli e come utilizzarli 4. Utilizzare i dati per migliorare la didattica: strumenti
AUTONOME PROVINZ BOZEN - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
1. Il bisogno di render conto

Le domande: Come valorizzare i risultati della scuola? Come verificare che gli investimenti fatti stiano andando nella giusta direzione? Come sapere se gli incrementi di conoscenze dei nostri studenti sono in linea con gli altri paesi? .
La risposta: Disponibilit di dati confrontabili a livello nazionale ed internazionale

1. Il bisogno di render conto Un video interessante Andreas Scleicher (direttore della ricerca OCSE- PISA) http://www.ted.com/talks/andrea s_schleicher_use_data_to_build_ better_schools.html
remember: Without data, you are just another person with an opinion
1. Il bisogno di render conto
E necessario confrontarsi per poter ragionare in modo laico su una serie di pre-giudizi:
piccolo bello pi tempo-scuola= migliori risultati pi danaro = migliori risultati
Come servirsi della valutazione nelle scuole?

E necessario ribaltare le tentazioni che provengono da un uso perverso della valutazione nelle scuole.
Andy Hargreaves uno degli autori del intitolato Data-Driven Improvement and Accountability.
Boston College
http://www.oxydiane.net/politiche-scolastiche-politiques/valutazionedei-e-nei-sistemi/article/la-valutazione-nelle-scuole
Data-Driven Improvement and Accountability

Si tratta di un testo meritevole di essere preso in considerazione perch analizza in modo critico le tendenze dominanti nel settore della valutazione del servizio scolastico. Le conclusioni del documento hanno un significato rilevante perch il miglioramento delle statistiche scolastiche e della rendicontazione una strategia ormai ampiamente diffusa a livello internazionale. Quando il DDIA utilizzato in modo appropriato fornisce senzaltro agli insegnanti informazione di qualit sui progressi dei loro studenti e segnala loro quali devono essere i punti pi utili sui quali dovrebbero intervenire. Inoltre, il DDIA pu dare agli genitori ed alle famiglie nonch allopinione pubblica informazioni accurate e eloquenti su quanto gli studenti apprendono a scuola nonch sulle attivit scolastiche.
2. La valutazione nazionale: le prove INVALSI
il piano delle rilevazioni 2013-2014

II primaria 6-7- maggio V primaria 6-7 maggio I secondaria di primo grado
III sec. di I grado Prova Nazionale 19 giugno

II secondaria di secondo grado 13 maggio

Quadro di riferimento
per la valutazione
Quadri di riferimento per le valutazioni internazionali
Quadro di riferimento per i curricoli
Prassi scolastica
Esiti delle rilevazioni precedenti

La composizione di una prova standardizzata rivolta allaccertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti allinterno di una scala di abilit/competenza molto lunga, dai livelli pi bassi a quelli di eccellenza.

Produzione delle domande da parte degli autori
Selezione e classificazione
Costruzione dei fascicoli per il pre-test
Prova sul campo

Analisi statistica Analisi didattica
Fascicolo definitivo
VERSIONE PRE-TEST
D24. Il nonno Andrea e sua nipote Marta stanno camminando vicini lungo un sentiero. Ogni due passi che fa il nonno Marta ne deve fare 3 per restare affiancata al nonno. Dopo che il nonno Andrea ha fatto 40 passi quanti passi ha fatto Marta?
A. B. C. D. 40 60 80 120
Versione finale
Aspetti significativi del QDR
Fascicolo definitivo
Aspetti misuratori
Ultima revisione del testo per eliminare al massimo le ambiguit SOMMINISTRAZIONE

3. La lettura dei risultati INVALSI
1. A livello di sistema scolastico
1. Decisori politici (MIUR, Intendenza, CSP,..)
2. A livello di Istituto Scolastico
2. Dirigente Scolastico, referente, commissione,
3. A livello didattico
3. Docenti e Dipartimenti
3. La lettura dei risultati di scuola
DATI INVALSI
Percorso di autovalutazione
Potenziamento e miglioramento dellazione didattica
istituto e singola classe
Perch la valutazione riguarda tutte le classi e non a campione, come
avviene in tanti altri paesi?

Chi pu vedere/utilizzare i risultati delle prove? Perch il presidente del consiglio di istituto potr vedere alcuni risultati? Le prove si estenderanno anche alle classi terminali? Quali aree disciplinari? Quali informazioni sulla formazione delle classi? Come sono collegati i risultati delle prove con i voti degli scrutini? Come utilizzare i risultati nel consiglio di classe?
.

L INVALSI restituisce sullandamento: ad ogni singola scuola dati
complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dellItalia, dellarea geografica e della regione di appartenenza (nel caso di Bolzano della provincia); delle singoli classi nelle prove di italiano e di matematica nel loro complesso; della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.
I risultati della provincia di Bolzano (l.it.)

livello ITA MATE Media TRENTO 201 204 197 199 205 209 201 205 210 211
Ita 211 Mat 210 Ita 207 Mat 211 Ita 202 Mat 210 Ita 212 Mat 213 Ita 218 Mat 226
Media NORD-EST
Ita 203 Mat 202 Ita 204 Mat 205 Ita 204 Mat 207 Ita 209 Mat 210 Ita 207 Mat 213
20122013
+
II primaria V primaria I sec. I gr. III sec. I gr. II sec. II gr.
= =
+ +
= + ++
ITA II primaria
MAT II primaria
ITA V primaria
MAT V primaria
ITA I secondaria di primo grado
MAT I secondaria di primo grado
ITA III secondaria di primo grado
MAT III secondaria di primo grado
ITA II secondaria di secondo grado
MAT II secondaria di secondo grado
ITA II secondaria di secondo grado
MAT II secondaria di secondo grado
3. La lettura dei risultati di scuola: uno sguardo dinsieme Schermata iniziale
Italiano
Punteggio medio Cheating = Punteggio medio della classe
Insieme di anomalie che alterano gli esiti della prova. L'effetto del cheating misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato mediamente da attribuire alle predette anomalie.
3
L'ESCS l'indice di status socio-economico-culturale. Esso misura il livello del background dello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilit di risorse economiche. La differenza calcolata rispetto al risultato medio delle 200 classi/scuole con background socio-economico-culturale (ESCS) pi simile a quello della classe/scuola considerata.
4
I livelli del background sono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto.
5
La frecce rivolte verso l'alto e verso il basso indicano una BOZEN differenza rispettivamente positiva e negativa statisticamente significativa, con una probabilit superiore al AUTONOME PROVINZ - SDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTOossia ADIGE 95% di verificarsi anche nella popolazione e non solo nel campione. Le frecce orizzontali indicano, invece, una differenza positiva o negativa statisticamente non significativa.
Una diversa visualizzazione dei risultati complessivi
-1,8
+11,5
SNV 2011/2012 Grafico 1b: Risultato complessivo della prova di Matematica - Classe I secondaria di I grado
60 58 56 54 52
50
48 46 44 42 40
AUTONOME PROVINZ BOZEN - SDTIROL 412099990601 412099990603 PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE 412099990606 412099990608 Lazio
Italia
3. La lettura dei risultati di scuola: uno sguardo dinsieme

Ci sono andamenti diversi fra le classi? Perch?
Ci sono differenze fra MAT e IT?

Le differenze fanno riferimento a tipologie diverse (tempo pieno, )? A vissuti diversi? Lindice di status socio-economico-culturale ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono diverse tra loro? Se s, perch?
3. La lettura dei risultati di scuola: la variabilit
ESCS: il questionario studenti

I risultati delle classi (punteggio) sono omogenei allinterno della scuola? Le classi sembrano ben formate? Lo status socio-economico-culturale omogeneo tra le classi?
E in linea con il dato nazionale?

.

100,0 80,0
SNV 2011/2012 Grafico 2a: Incidenza della variabilit TRA le classi rispetto alla variabilit totale, nel punteggio della prova di Italiano e nell'indice di background familiare (ESCS) Classe V primaria
Valori percentuali
60,0 40,0 21,6 11,2 24,3 12,5
20,0
0,0
Situazione di relativo equilibrio: confronto LIV.05 e Liv.06
TRA/TOT (punteggio)
TRA/TOT (ESCS) SNV 2011/2012 Grafico 2a: Incidenza della variabilit TRA le classi rispetto alla variabilit totale, nel punteggio della prova di Italiano e nell'indice di background familiare (ESCS) Classe I secondaria di I grado Valori percentuali
100,0 80,0 60,0 40,0 20,0 0,0 7,4 11,1 8,9 9,3
TRA/TOT (punteggio) TRA/TOT PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
(ESCS)

Situazione di relativo squilibrio nei punteggi
ITA- Liv. 10 Ist. Tecnico
MATE- Liv. 10 Ist.Tecnico

Situazione di relativo squilibrio nellESCS
ITA- Liv. 10 Liceo
MATE- Liv. 10 Liceo

Classe II primaria, come per la PN (LIV.08) non c ESC perch non c il questionario studenti
SNV 2011/2012 Grafico 2a: Incidenza della variabilit TRA le classi e DENTRO le classi nella prova di Italiano Classe II primaria
100,0 90,0 95,2 85,1
80,0
70,0
Valori percentuali
60,0 50,0 40,0 30,0 20,0 10,0 0,0
Alta variabilit dentro le classi, bassa variabilit tra le classi. Si pu dire che le classi sono omogenee fra loro.
14,9 4,8
DENTRO/TOT
TRA/TOT
MOIC80500Q Italia PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: i livelli <110%Risultati <

Risultati < 75% media nazionale
<75%Risultati < 95% media nazionale <95%Risultati < 110% media nazionale 125% media nazionale
Risultati > 125% media nazionale
Dal + BASSOal + ALTO
3. La lettura dei risultati di scuola: i livelli

Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?
Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosit
15 6 6 23 20 7
12 14 44
Discrepanza fra ITA e MATE

Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosit
Sostanziale equilibrio fra ITA e MATE

3. La lettura dei risultati di scuola: i livelli
La distribuzione per livelli nelle singole classi equilibrata? Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove? Quanti sono gli studenti i cui risultati sono molto diversi? Ci sono differenze significative fra le due discipline? Quali ipotesi si possono fare?
3. La lettura dei risultati di scuola: correlazioni Voti di scuola e punteggi INVALSI: nelle classi e tra le classi
3. La lettura dei risultati di scuola: correlazioni
Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI? Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa?
Ci sono differenze nei metri di valutazione degli insegnanti della scuola? Ci sono differenze fra primaria e secondaria? Fra primo ciclo e secondo ciclo?

Correlazione tra voto1 della Correlazione tra voto1 della scuola e scuola e punteggio di Matematica alla Prova punteggio di Italiano alla Prova INVALSI INVALSI
71001 71002 71003 71004 71005 71006 71007 71008 71009 71010
1
scarsamente significativa scarsamente significativa medio-bassa medio-bassa scarsamente significativa scarsamente significativa scarsamente significativa medio-bassa scarsamente significativa medio-bassa
scarsamente significativa medio-bassa scarsamente significativa scarsamente significativa medio-bassa scarsamente significativa scarsamente significativa scarsamente significativa medio-bassa medio-bassa
Voto di italiano/matematica (media scritto e orale) assegnato dal docente nell'ultimo scrutinio intermedio.

SNV 2011/2012 Grafico 4a: Confronto tra voto di classe e punteggio nella prova di Italiano Classe II secondaria di II grado (Scuola XXXXXXXX)
84
Liceo Bologna
Punteggio medio alla prova INVALSI
82
80
78
Il range del voto medio di scuola tra il 6 e il 7!
10006
10005 10009 10010 10007
10008
10002
76
10003
10004
74
72 1,0 2,0 3,0 4,0 5,0 6,0 Voto medio di classe (media dei voti scritto e orale)
10001
7,0
8,0
3. La lettura dei risultati di scuola: un grafico utile
XXXXXXX XX
Media Nazionale
Media Nazionale dei soli studenti italiani
Media di una scuola con ESCS simile
Media nazionale
51
Risultati della prova di Italiano (o Matematica) rispetto a

90,0 85,0 80,0
PN 2011/2012 Risultato della prova di Italiano rispetto alla cittadinanza
Cittadinanza
Regolarit
PN 2011/2012 Risultato della prova di Matematica rispetto alla regolarit del percorso di studi
75,0
75,0 70,0 65,0 60,0 55,0Studenti italiani 50,0
Studenti stranieri I generazione
Studenti stranieri II generazione
70,0
65,0
60,0 55,0 50,0
80,0
PN 2011/2012 Risultato della prova di Matematica rispetto al genere
45,0
40,0
Studenti regolari
Studenti anticipatari
75,0
70,0
Studenti posticipatari
65,0
60,0
MASCHI
55,0
Genere
FEMMINE
50,0

Centro_F Italia_F
SCUOLA RMMM208009_M
Lazio_M
Centro_M
Italia_M
SCUOLA RMMM208009_F
Lazio_F
3. La lettura dei risultati di scuola: cittadinanza, regolarit, genere

I dati possono servire per sfatare alcuni pregiudizi
SNV 2011/2012 Grafico 3d: Risultato della prova di Matematica rispetto alla cittadinanza Classe I secondaria di I grado
55,0 50,0
I: italiani
45,0
40,0 35,0 30,0 25,0 20,0

I dati possono servire per sfatare alcuni pregiudizi
SNV 2011/2012 Grafico 3d: Risultato della prova di Matematica rispetto alla cittadinanza Classe I secondaria di I grado
55,0 50,0
I: italiani
45,0
40,0 35,0 30,0 25,0 20,0 80,0 75,0 70,0 65,0 60,0 55,0 50,0
PN 2010/2011 Risultato della prova di Italiano rispetto alla regolarit del percorso di studi
Quanti stranieri S1 e S2 ci sono? Sono un numero significativo? La presenza (consistente) di stranieri come ha inciso sui risultati degli studenti italiani? E rispetto agli studenti S1 e S2? Ci sono differenze fra matematica e italiano? Se s, perch? I dati possono farci riflettere sulle bocciature?
4.Usare i dati per migliorare la didattica: strumenti
% scelta distrattori
% risposte corrette
Conclusioni
First we have data It is a capital mistake to theorize before one has data.
( Sherloch Holmes, A Study in Scarlett, Arthur Conan Doyle)

L'interpretazione e L'uso Dei Risultati INVALSI Da Parte Delle Scuole

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

L'interpretazione e L'uso Dei Risultati INVALSI Da Parte Delle Scuole

Caricato da

Copyright:

Formati disponibili

AUTONOME PROVINZ BOZEN - SDTIROL

PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE

Landes-Evaluationsstelle fr das italienischsprachige Bildungssystem

Servizio provinciale di valutazione per l'istruzione e la formazione in lingua italiana