Sei sulla pagina 1di 5

URL :http://www.roars.

it
roars.it
PAESE :Italia
TYPE :Web Grand Public

11 giugno 2020 - 11:54 > Versione online

Colao e la supercazzola della VQR

Share this on WhatsApp

Per qualche ragione misteriosa chi in Italia si sente titolato a prescrivere ricette sulle riforme

dell’Università è solito imbastire discorsi corredati di numeri e citazioni che impressionano il

lettore distratto o sprovveduto, ma che, una volta dissezionati, rivaleggiano con la famosa

supercazzola prematurata. L’ultimo episodio di una lunga serie è lo “Spunto di riflessione”

riportato nel Rapporto redatto dal Comitato di esperti in materia economica e sociale, presieduto

dal top manager Vittorio Colao. Si intitola“Una differenziazione smart per il sistema

universitario” che, tradotto in parole povere, significa “Università di serie a e serie B”. Perché

bisogna differenziarsi? Ce lo chiede la VQR: nell’Area economica c’è solo un misero 6% di

ricercatori eccellenti che, per di più, sono dispersi in tutta Italia. ”Un’analoga frammentazione

della migliore ricerca è stata rilevata nelle Vqr successive ed è propria di quasi tutte le aree

scientifiche” ci garantisce la task force. Abbiamo controllato e abbiamo scoperto che era solo una

“Tarapìa tapiòco”. Nelle altre aree ci sono percentuali di eccellenti fino a 5 volte maggiori e in

molti atenei più del 50% dei ricercatori sono “eccellenti”, qualsiasi cosa possa voler dire. Come

non bastasse, il vero dato dell’area economica era 9% e non 6%. Per quanto riguarda l’Università,

il rapporto della task force di Colao assomiglia un po’ troppo a quei rapporti che ti rifilano a caro

prezzo alcune quotate società di consulenza: storielle per gli ingenui, confezionate per puntellare

scelte decise a priori (la differenziazione tra università di serie A e serie B, tanto per cambiare). In

tutto ciò, che ruolo hanno i numeri? Beh, fungono da guarnizione. Come la panna montata spray.

L’indimenticato Conte Mascetti di Amici miei, per non pagare una multa, stordiva il vigile

sciorinando una cantilena senza senso: «Tarapìa tapiòco! Prematurata la supercazzola, o

scherziamo». Per qualche ragione misteriosa chi in Italia si sente titolato a prescrivere ricette sulle

riforme dell’Università è solito imbastire discorsi corredati di numeri e citazioni che

impressionano il lettore distratto o sprovveduto, ma che, una volta dissezionati, rivaleggiano con

la famosa supercazzola prematurata.

L’ultimo episodio di una lunga serie è lo “Spunto di riflessione” (sic) riportato a pagina 38 del

Tutti i diritti riservati


URL :http://www.roars.it
roars.it
PAESE :Italia
TYPE :Web Grand Public

11 giugno 2020 - 11:54 > Versione online

Rapporto Iniziative per il rilancio “Italia 2020-2022”, redatto dal Comitato di esperti in materia

economica e sociale, presieduto dal top manager Vittorio Colao. Ecco il primo paragrafo.

Spunto di riflessione – Una differenziazione smart per il sistema universitario

La qualità scientifica in Italia non è concentrata in pochi atenei eccellenti, ma è relativamente

diffusa. Prendiamo l’esempio dell’area economica: nel primo esercizio di valutazione della

qualità della ricerca (Vqr) i ricercatori che hanno presentato lavori valutati tutti come ‘eccellenti’

erano solo 296 (poco più del 6% del totale), ma distribuiti in ben 59 atenei e 93 diversi

dipartimenti. Un’analoga frammentazione della migliore ricerca è stata rilevata nelle Vqr

successive ed è propria di quasi tutte le aree scientifiche. Si tratta dunque di un dato che

contraddistingue stabilmente il sistema universitario italiano rispetto alla maggior parte dei

sistemi universitari più avanzati. Questa dispersione dei migliori ricercatori fra le varie sedi ci

aiuta a spiegare un apparente paradosso. Da un lato, nonostante il cronico sotto-investimento in

ricerca e il bassissimo numero di ricercatori occupati, la qualità complessiva della produzione

scientifica risulta molto elevata in Italia in termini comparati e in netto aumento negli ultimi 15

anni. Dall’altro, le università italiane risultano pressoché assenti fra le top 100 in tutti i ranking

internazionali basati su produttività e impatto della ricerca, mentre sono molto numerose fra le top

500. Una spiegazione di questo paradosso sta appunto nell’elevata dispersione dei migliori

ricercatori italiani fra atenei diversi, che fa sì che molti atenei siano di buona qualità, ma (quasi)

nessuno eccellente.

Un’argomentazione scritta con autorevolezza e fondata sui numeri, come insegna lo stile

McKinsey, azienda da cui è transitato Colao. In sintesi:

solo il 6% di ricercatori “eccellenti”;

viene citata solo l’area economica e, per di più, prestazioni vecchie di un decennio (VQR

2004-2010), ma state tranquilli: “Un’analoga frammentazione della migliore ricerca è stata

rilevata nelle Vqr successive ed è propria di quasi tutte le aree scientifiche“;

dato che i pochi “eccellenti” sono dispersi in tante sedi, nessun ateneo raggiunge la massa

critica per entrare nell’Olimpo delle top 100 nei ranking internazionali.

Chi ha un minimo di pratica con i dati della VQR, sente però ronzare nelle orecchie “Tarapìa

tapiòco!” E anche: “come fosse Antani!“.

“È propria di quasi tutte le aree scientifiche” ci rassicurano i cervelloni della task force. Bene,

verifichiamo come stavano le Scienze Fisiche in quanto a ricercatori eccellenti. I dati che ci

servono sono nella Tabella 2.17a del Rapporto VQR di Area 2:

il 35% dei ricercatori (736 su 2.113) hanno ottenuto il punteggio massimo;

un altro 32% ha ottenuto punteggio “quasi massimo” (2 giudizi eccellenti e 1 buono su tre

prodotti, pari al 93% del punteggio massimo);

nessuno dei 50 atenei è privo di “eccellenti”, ma il loro numero varia da 1 a 54 (Roma

Sapienza). Padova gli eccellenti sono 49 su 102 ricercatori, ovvero quasi il 50%;

per quanto riguarda la massa critica, in 8 atenei la percentuale di eccellenti supera il 50%.

È vero nell’area della Fisica le cose vanno diversamente, ma una rondine non fa primavera,

obietterà qualcuno. Gli esperti hanno precisato che la mancanza di massa critica di eccellenza era

propria di “quasi tutte le aree scientifiche”. Prendiamo allora l’Ingegneria Industriale e

dell’Informazione, Tabella 4.16 del Rapporto VQR di Area 9:

il 34% dei ricercatori (1.661 su 4.822) hanno ottenuto il punteggio massimo;

un altro 26% dei ricercatori ha ottenuto punteggio “quasi massimo”, pari al 93% del punteggio

massimo;

Tutti i diritti riservati


URL :http://www.roars.it
roars.it
PAESE :Italia
TYPE :Web Grand Public

11 giugno 2020 - 11:54 > Versione online

il numero di “eccellenti” per singolo ateneo varia da 0 a 250 (Milano Politecnico);

in 11 atenei la percentuale di eccellenti supera il 50%: Trento, Ferrara, Torino, Catanzaro,

Roma Foro Italico, Urbino, Bolzano, Pisa Sant’Anna, Enna, Roma Biomedico, Napoli

Parthenope.

Nella maggior parte delle aree l’Anvur non aveva fornito le statistiche dei voti individuali, ma per

farci un’idea di quanto l’eccellenza sia rara, dispersa e carente di massa critica, bastano le

seguenti percentuali di prodotti eccellenti (Tabella 6.2 di Tabelle Parte Prima):

Scienze Matematiche e informatiche: 40%

Scienze Chimiche: 55%

Scienze Biologiche: 39%

Scienze Veterinaria: 41%

Ingegneria Civile: 41%

A questo punto, facciamo un esperimento. Riprendiamo il paragrafo dello “spunto di riflessione”

e vediamo come suona se sostituiamo i dati dell’area economica con quelli dell’Ingegneria

industriale e dell’informazione.

Spunto di riflessione – Una differenziazione smart per il sistema universitario

La qualità scientifica in Italia non è concentrata in pochi atenei eccellenti, ma è relativamente

diffusa. Prendiamo l’esempio dell’area dell’ingegneria industriale e dell’informazione: nel primo

esercizio di valutazione della qualità della ricerca (Vqr) i ricercatori che hanno presentato lavori

valutati tutti come ‘eccellenti’ erano solo 1.661 (poco più del 34% del totale), ma distribuiti in

ben 58 atenei. […]

Solo 1.661 eccellenti? Solo il 34%? Ci sono ricercatori eccellenti in 58 atenei e dovremmo

preoccuparcene? Abbiamo 4 atenei (Milano Politecnico, Padova, Bologna, Torino Politecnico) in

ciascuno dei quali ci sono più di 100 ricercatori a punteggio pieno e piagnucoliamo perché non

riusciamo a concentrare le eccellenze? Il Conte Mascetti era un dilettante, al confronto.

Se l’esperto che ha partorito questo “Spunto” credesse veramente ai responsi della VQR,

dovrebbe piuttosto concludere che, mentre in diverse aree le concentrazioni di eccellenti ci sono e

sono anche parecchie, ci sono aree che scontano dei ritardi. Tra queste vi è l’area economica, una

sacca di sottosviluppo nel panorama dell’accademia italiana. Dato che i numeri del Rapporto sono

stati presi pari pari dalle pagine 31-32 del Rapporto VQR 2004-2010 dell’area economica, è

lecito sospettare che l’esperto fosse proprio un economista. Curiosamente, ha anche ritoccato

verso il basso la percentuale dei ricercatori che hanno presentato lavori valutati tutti come

‘eccellenti’ (9,6%), sostituendola con quella dei valutati con 3 valutazioni eccellenti (6,4%).

Perché negare la medaglia di eccellente ai giovani che, essendo tenuti a presentare meno di tre

lavori, avevano comunque ottenuto l’en plein? La battuta sarebbe fin troppo facile: l’area

economica è talmente scientificamente depressa da annoverare come “esperto” chi ha persino

scordato quel minimo rigore scientifico che ti fa controllare i numeri (e magari riportarli

fedelmente), prima di dare per scontato che la propria desolante situazione sia rappresentativa

delle altre aree. Ma, a differenza del Rapporto Colao, preferiamo tenerci lontani dalle analisi

sociologiche un tanto al cento.

In base ai numeri, le ricette avrebbero dovuto essere ben diverse. È evidente che gli italiani sono

un popolo di fisici, di ingegneri (e di matematici, di chimici, etc), ma non di economisti. Inutile

che l’Italia butti soldi in un secchio bucato, meglio concentrare i finanziamenti nelle aree in cui

eccelliamo davvero e riorientare gli studi economici verso corsi professionalizzanti, capaci di

fornire, senza fronzoli inutili, le competenze basilari richieste dal mondo del lavoro. Alla luce di

Tutti i diritti riservati


URL :http://www.roars.it
roars.it
PAESE :Italia
TYPE :Web Grand Public

11 giugno 2020 - 11:54 > Versione online

quel misero 6%, mettiamo in pratica la differenziazione smart e lasciamo la scienza economica a

quelle nazioni in cui l’eccellenza economica può raggiungere masse critiche che non fanno per

noi.

Vista la sua credulità nella VQR, questo avrebbe dovuto concludere l’esperto della task force, se

solo avesse controllato cosa dicevano davvero i numeri. Ma si sarebbe ugualmente sbagliato. Chi

crede nella VQR difficilmente la conosce a fondo. Infatti, la sua fede subirebbe un duro colpo se

scoprisse che, in base alla VQR, Unicusano e Messina superano i Politecnici di Milano e Torino

per qualità della ricerca.

Una delle conseguenze dell’avvento dell’Anvur e delle sue valutazioni pseudoscientifiche è aver

messo in circolazione dei fondi di caffè che vengono pensosamente interpretati dagli esperti di

turno, chiamati al capezzale di un malato che, invece, avrebbe un gran bisogno di levarsi di torno

i venditori di elisir miracolosi (e scaduti, visto che gli ingredienti sono quelli di 10 e più anni fa).

Di fondi di caffè ce ne sono già a sufficienza in circolazione, anche senza l’Anvur. Basta pensare

alle classifiche internazionali degli atenei, il cui unico merito è quello di essere una cartina di

tornasole quasi infallibile: se incroci qualcuno che porta le classifiche a sostegno dei suoi

ragionamenti, puoi star sicuro che di istruzione superiore ha studiato e capito ben poco. Infatti,

solo chi non le conosce e non sa come funzionano può dar credito a quelle classifiche e usarle a

supporto delle proprie tesi senza provare imbarazzo. Difficile dare troppo credito alla scientificità

dei World University Rankings di Times Higher Education se sai che l’Università di Assuan

(Egitto) con i suoi 100 punti su 100 (a pari merito con altri 6 atenei), è la prima università

mondiale per impatto scientifico (misurato dall’indicatore Citations). Gli egiziani superano di

diverse posizioni Stanford (posizione 8-9, a pari merito con la Anglia Ruskin University),

Massachusetts Institute of Technology (posizione 14-15, a pari merito con la Nova Southeastern

University) e Harvard (18-19, a pari merito con la cilena University of Desarrollo).

Le più note classifiche internazionali sono costruite in modo da premiare con le prime posizioni

nella classifica generale gli atenei con bilanci miliardari e, da un certo punto in poi, sono troppo

influenzate dal rumore statistico e dall’arbitrarietà degli algoritmi di standardizzazione. Sono

pertanto inutilizzabili per qualsiasi valutazione delle prestazioni scientifiche e didattiche e, a

maggior ragione, delle loro variazioni nel tempo. Nel 2019, Roma Sapienza è tornata la prima

delle università italiane nella classifica ARWU, grazie alle affiliazioni di due scienziati Highly

cited: un ex-docente ultraottantenne che negli articoli si firma come affiliato a diversi enti

(Helmholtz Institute Ulm, IIT, … ), tutti diversi da Roma Sapienza, e un professore che invece era

di Ferrara. Il rettore aveva commentato il “balzo in avanti” con queste parole: «Questo risultato

giunge grazie all’impegno di tutti ed è frutto di investimenti della Sapienza per quanto possibile

crescenti». Se c’è chi crede agli oroscopi di Paolo Fox che per il 2020 pronosticava “un anno di

crescita, vantaggioso per viaggi e spostamenti”, perché non dovrebbe esserci anche chi crede nei

ranking degli atenei?

Il vero problema è che ci creda anche chi dovrebbe avere per mestiere una mentalità scientifica.

Beata l’ingenuità di chi si spiega l’assenza degli atenei italiani nelle “top 100” con la storiella

della dispersione:

le università italiane risultano pressoché assenti fra le top 100 in tutti i ranking internazionali

basati su produttività e impatto della ricerca, mentre sono molto numerose fra le top 500. Una

spiegazione di questo paradosso sta appunto nell’elevata dispersione dei migliori ricercatori

italiani

Tutti i diritti riservati


URL :http://www.roars.it
roars.it
PAESE :Italia
TYPE :Web Grand Public

11 giugno 2020 - 11:54 > Versione online

Ma è davvero così? Proviamo a rispondere guardando i numeri.

La figura mostra il punteggio PUB (pubblicazioni) estratto dagli indicatori della classifica ARWU

per 20 “national champions” (rosso), ovvero le prime università delle rispettive nazioni e per gli

atenei italiani censiti dalla classifica (blu). Il punteggio PUB mostra una chiara correlazione con i

costi operativi: chi dispone di più risorse pubblica di più e scala la classifica. Si vede anche che

con i fondi a loro disposizione gli atenei italiani ottengono ottimi risultati.

Per quanto riguarda l’Università, il rapporto della task force di Colao assomiglia un po’ troppo a

quei rapporti che ti rifilano a caro prezzo alcune quotate società di consulenza: storielle per gli

ingenui, confezionate per puntellare scelte decise a priori (la differenziazione tra università di

serie A e serie B, tanto per cambiare). In tutto ciò, che ruolo hanno i numeri? Beh, fungono da

guarnizione. Come la panna montata spray.

Scarica come PDF

Send to Kindle Share this on WhatsApp

Tutti i diritti riservati