Diego Marconi La VQR nel macrosettore di Filosofia Mi soffermer sulle specificit della VQR in Filosofia; il mio giudizio complessivo

sulla VQR, considerato che era la prima volta che si tentava un'impresa cos titanica, certamente positivo. Problemi: 1) che sono emersi nel corso del processo, 2) che possono essere rilevati dall'esito del processo. 1) L'area di Filosofia era interamente a peer review, quindi i problemi del processo sono problemi relativi alla peer review. Ho riscontrato essenzialmente tre tipi di problemi: difficolt da parte nostra nell'assegnare i prodotti ai referees, problemi dovuti all'atteggiamento dei referees, e difficolt incontrate dai referees nel valutare alcuni tipi di prodotti (problemi della scheda di valutazione) a) difficolt di assegnazione dei prodotti: - c' stata scarsa corrispondenza tra distribuzione dei contenuti della ricerca e distribuzione delle competenze dei referees. Ci sono stati sottosettori di ricerca in cui i referees erano pochi e i prodotti molti, e viceversa settori in cui i referees sarebbero stati molti, ma i prodotti da assegnare erano pochi. Questa difficolt stata accentuata dalla riluttanza di vari referees, specialmente stranieri, ad accettare prodotti fuori dalla loro area di stretta competenza (ben diversamente da quanto avviene, per quel che ne so, in altri sistemi di valutazione). Questo rigore specialistico pu anche essere apprezzato, ma allora bisogna disporre di molti pi referees, o almeno meglio distribuiti rispetto ai contenuti della ricerca italiana. - i referees non italiani (in senso accademico) erano pochi. Filosofia ne aveva richiesti 551, di cui 339 italofoni. Ne ha avuti 156. Complessivamente, per tutta l'Area 11, i non italiani attivi nella valutazione sono stati 366 (25% del totale dei referees). Quindi noi di Filosofia ne abbiamo avuti quasi met di quelli dell'intera area, ma solo il 28% di quelli che avevamo proposto. La regola che ci eravamo dati (1 valutazione "straniera" ogni 3) risultata di difficile applicazione. Risulta che ci siano stati molti rifiuti da parte dei non italiani. Molti probabilmente dipendono dall'inflazione dei processi di valutazione in tutto il mondo, che insistono largamente sulle stesse persone. Di sicuro non ha aiutato la complessit e l'opacit delle procedure di accettazione della funzione di referee (bisognerebbe semplificarlo e renderlo pi chiaro, il burocratese fuori d'Italia parlato poco). - molti referees, specialmente stranieri, hanno rifiutato i prodotti proposti per la valutazione o comunque non li hanno di fatto valutati e hanno dovuto essere sostituiti, nel caso degli stranieri con punte del 56% in Storia della filosofia e del 52% in Filosofia morale (i rifiuti degli italiani sono stati rispettivamente il 21% e il 20%) (Tabella 2.5). b) problemi dovuti all'atteggiamento dei referees: - numero non insignificante di referees poco discriminanti, nel bene ("troppo buoni") e nel male ("troppo cattivi"), con una punta del 44% in Morale (mentre il fenomeno non si manifesta in Filosofia del linguaggio, Storia della filosofia antica e Storia della filosofia medievale (sotto il 10%). La media dell'Area 11 il 21%. Il fenomeno della bassa varianza andrebbe interpretato: generosit o severit pregiudiziale? volont di boicottare la valutazione svuotandola di senso? semplice pigrizia? E' difficile dire. Di certo, non sembra consigliabile continuare a utilizzare in futuro questi referees, specialmente nei casi estremi. c) problemi della valutazione (gi sottolineati alla scorsa riunione). La scheda di accompagnamento dovrebbe essere ripensata, perch ha dato luogo a vari equivoci:

- l'internazionalizzazione stata interpretata in almeno quattro modi diversi: come appartenenza del prodotto a una letteratura internazionale (presenza sulle grandi riviste internazionali, opere collettanee pubblicate da grandi editori internazionali, ecc.); o su una base puramente linguistica (pubblicazione in una lingua diversa dall'italiano); o in termini di utilizzo di una letteratura non solo italiana (= vengono citati autori non italiani); o come adeguatezza ad uno standard internazionale, non specificato. Invece nessuno, che io sappia, ha fatto riferimento a recensioni internazionali, o a traduzioni in altre lingue che pure sarebbe un criterio ovvio di internazionalit. Se questo punto della scheda dovesse essere mantenuto, andrebbe specificato meglio. - c' stata incertezza e molta variabilit anche nella valutazione di prodotti a carattere espositivo, manualistico, didattico. Un buon manuale stato valutato da Eccellente (in quanto buono) a Limitato (in quanto manuale). - credo che parecchi referees non abbiano considerato che si chiedeva loro non una valutazione "assoluta" o rispetto a loro standard personali, ma un posizionamento rispetto alla letteratura internazionale. Certo una valutazione relativa alla comunit internazionale non facile, perch ciascuno di noi tende ad avere presenti soprattutto il livello pi alto della produzione internazionale. Ma allora bisognerebbe eliminare questo riferimento. 2) Problemi rilevabili dall'esito del processo. a) qualche osservazione sulle graduatorie. Primi dieci Atenei per voto medio in Area 11, Filosofia e Storia Area 11 Trento Modena Piemonte Or Venezia Milano Bicocca Milano S.Raffaele Bergamo Torino G Macerata Pisa G V. medio 0,75 Filosofia Piemonte Or. Macerata Cagliari Modena Napoli Or. Trento Firenze G Ferrara Roma 2 Pisa V.medio Storia 0,79 Piemonte Or. Pisa Normale Trento Venezia Bergamo Padova Modena Siena Verona 0,71 Milano Bicocca V.medio 0,81

0,67

0,67

La distanza tra la prima struttura e la decima piuttosto piccola, specialmente in Filosofia. Il dato significativo che emerge che, in Filosofia come in Storia come nell'intera Area 11, le piccole universit vanno meglio delle grandi. In Storia nessun grande ateneo tra i primi 10, in Filosofia uno solo (Firenze), nell'Area 11 solo due (Torino e Pisa). Questo primato dei piccoli atenei stato notato anche da altri, e alcuni l'hanno spiegato con considerazioni puramente statistiche. A me pare che i grandi atenei scontino penalizzazioni che invece non toccano i piccoli atenei (con l'eccezione della Scuola Normale di Pisa): Prodotti penalizzati Area 11
GRANDI Torino Padova Firenze graduatoria % penalizz PICCOLE graduatoria % penalizz 8 11 17 1,92 Trento Modena e 1,92 R Emilia 2,68 Piemonte 1 2 3 0,00 0,00 0,00

Orientale Milano San Raffaele Torino Politecnico Milano IULM Pisa Normale

Milano Roma Tre Bologna Roma La Sapienza Bari

24 26 29 39 62

4,26 2,75 3,14 4,21

6 12 13 18 21

0,00 0,00 0,00 6,90 0,00

9,25 Foggia

Inoltre, nelle grandi universit ci sono pi ricercatori inattivi o solo parzialmente attivi: Percentuale inattivi o solo parzialmente attivi
Foggia Venezia C Foscari Bergamo Macerata Milano San Raffaele Verona Piemonte Orientale Modena e Reggio Emilia Milano Bicocca Trento 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00

Bari Napoli Federico II Milano Roma La Sapienza Roma Tre Firenze Bologna Torino Padova

7,89 6,80 5,71 5,13 3,48 3,39 2,07 2,03 1,79

Questi dati contribuiscono a spiegare il primato dei piccoli atenei. Ma sarebbe un errore saltare alla conclusione che "i piccoli atenei sono migliori dei grandi atenei". Se infatti guardiamo alle eccellenze, troviamo che (almeno in Filosofia) i grandi atenei hanno spesso una percentuale maggiore di tutte le valutazioni eccellenti settore per settore, anche se la percentuale di eccellenze sul totale delle valutazioni maggiore nei piccoli atenei. In altre parole, c' pi eccellenza complessiva nei grandi atenei, ma c' anche pi zavorra; mentre nei piccoli atenei c' una percentuale maggiore di ricerca eccellente su una massa di ricerca che, ovviamente, pi piccola. b) in Filosofia, si riscontrano forti differenze tra i settori disciplinari: Filosofia E+B 64,3% (Area 11 57,79%) [Valore atteso: 40%]
SSD M-FIL/01 M-FIL/02 M-FIL/03 M-FIL/04 M-FIL/05 M-FIL/06 M-FIL/07 M-FIL/08 v. medio 0,55 0,59 0,64 0,66 0,56 0,62 0,66 0,77 % prodotti E 12,03 23,62 19,00 24,08 15,46 21,29 31,91 44,74 % prodotti B 42,09 38,58 49,46 43,27 40,21 46,78 33,33 37,72 % prodotti E+B 54,12 62,20 68,46 67,35 55,67 68,07 55,24 82,46 % prodotti L 21,83 19,69 9,14 12,24 23,71 14,29 19,15 7,89 % penalizz. 2,23 3,94 5,02 2,04 1,72 4,62 0,00 2,63

M-STO/05

0,60

19,65

42,77

62,42

18,50

2,89

Come si vede, c' una notevole distanza tra la punta minima (Filosofia teoretica, 54,12%) e la punta massima (Storia della filosofia medievale, 82, 46%). Va notato che il dato di Teoretica, che minimo per Filosofia, comunque poco al di sotto della media dell'Area 11 (57,79%). Quindi Filosofia nel suo complesso un'area pi "generosa" (o forse migliore!) della media, ma non tutti i ssd lo sono ugualmente. Le difformit tra i ssd di Filosofia non sono facili da interpretare. Per esempio, non pare vero che i settori che hanno avuto pi referees stranieri abbiano avuto valutazioni pi basse: ssd in ordine di "peso" dei non italiani
SSD # # revisioni revisioni effettuate effettuate da da non Italiani Italiani 928 399 1262 678 240 281 400 160 275 167 72 253 206 77 99 157 70 209 % revisioni di non italiani sul totale 15,2 15,2 16,7 23,3 24,2 26 28,1 30,4 43 SSD M-FIL/08 M-FIL/03 M-FIL/06 M-FIL/04 M-STO/05 M-FIL/02 M-FIL/05 M-FIL/07 M-FIL/01

ssd in ordine decrescente di E+B

M-FIL/03 M-FIL/04 M-FIL/06 M-FIL/01 M-FIL/07 MSTO/05 M-FIL/05 M-FIL/08 M-FIL/02

% prodotti E+B 82,46 68,46 68,07 67,35 62,42 62,20 55,67 55,24 54,12

Medievale, che risulta avere i prodotti migliori, anche uno dei settori che ha utilizzato pi referees non italiani, mentre Teoretica, che ha utilizzato nettamente meno referees non italiani, ha il risultato peggiore. Naturalmente non obbligatorio supporre che i settori di Filosofia siano, mediamente, tutti uguali quanto a qualit della ricerca. Pu essere benissimo che Medievale sia nettamente migliore di tutti gli altri e che Teoretica, Antica e Filosofia del linguaggio siano i peggiori. Tuttavia, le differenze sono cospicue, e spingono a cercare una spiegazione. Ma se la spiegazione c', difficile ricondurla ad un singolo fattore. Sembra pi corretto parlare di "diverse culture della valutazione" (Graziosi). Certo, questi dati rendono difficile il confronto tra i diversi settori, come abbiamo pi volte ribadito. Personalmente, sono convinto che le sole comparazioni che hanno senso siano le comparazioni tra le posizioni in classifica delle strutture per ciascun ssd o macrosettore o area: se un Dipartimento (mettiamo) al 17 posto per Filosofia, mentre un altro al 60, la differenza pu essere significativa; mentre mi pare poco significativo che Storia moderna abbia una valutazione media pi alta (o pi bassa) di Filosofia antica.