La Voce-Una valutazione positiva

-02-2006
Una valutazione positiva
Tullio Jappelli

Il Comitato di indirizzo per la valutazione della ricerca (Civr) ha concluso il primo ciclo di valutazione relativo al triennio 2001-2003. Le relazioni finali dei venti panel sono disponibili sul sito del Civr (www.civr.it) insieme ai risultati, espressi con un punteggio complessivo compreso tra 0 e 1 attribuito a ciascuna università o ente di ricerca in ciascuna disciplina.
Per www.lavoce.info, i problemi dell'università e della qualità delle attività che vi si svolgono rivestono un'importanza particolare. Speriamo quindi che si apra un dibattito ampio sul metodo di valutazione, i suoi esiti, la sua utilità per la ripartizione delle risorse future e la riforma dell'università. Ecco alcune prime riflessioni.

La composizione dei panel

I componenti del panel sono esperti riconosciuti sul piano nazionale e internazionale nelle rispettive discipline; un quarto proviene dall'estero, un elemento di eccezionale novità nel quadro asfittico e autoreferenziale di buona parte dell'università italiana. Ciascun panel ha previsto esplicitamente come affrontare i casi di conflitti di interesse (coautori, colleghi della stessa università, parenti, eccetera). Anche qui, si tratta di una positiva novità.

I raggruppamenti disciplinari

Ciascun panel ha valutato circa mille lavori di aree di ricerca molto ampie, che comprendono mediamente quattromila ricercatori ciascuna (diecimila per le scienze mediche, seimila per quelle biologiche). Ad esempio, per le scienze mediche è stato attivato un solo panel che ha valutato lavori di oncologia, neurologia, endocrinologia, cardiologia, immunologia, eccetera. Il panel di scienze economiche e statistiche ha valutato, tra gli altri, lavori di statistica, economia politica, matematica finanziaria, economia aziendale. Il panel di scienze biologiche ha esaminato lavori di biologia molecolare, biochimica, fisiologia, e così via.
Nell'università italiana molte decisioni sono prese dai cosiddetti "settori scientifico-disciplinari". Se ne contano cinquanta in medicina, un centinaio nelle scienze letterarie, diciannove nelle scienze biologiche, altri diciannove nelle scienze economiche e statistiche: in totale, circa quattrocento. Si tratta di piccoli o grandi raggruppamenti di docenti che si comportano spesso come corporazioni medievali, erigendo barriere all'ingresso e impedendo che le altre discipline possano "mettere il naso" nei loro affari. Fino ad oggi, le decisioni sull'ingresso in ruolo dei docenti, le conferme e le promozioni (i concorsi) sono prese da commissioni elette all'interno dei settori disciplinari. I panel del Civr hanno eliminato, o quanto meno attenuato, alcune di queste barriere, valutando con una stessa metrica settori della stessa area di ricerca, uniformando gli standard di qualità e promuovendo, in prospettiva, la competizione orizzontale tra settori disciplinari. Qualsiasi riforma dell'università non potrà prescindere da una profonda revisione dei settori scientifici esistenti.

I lavori presi a riferimento

La valutazione ha preso in esame le pubblicazioni nel triennio di riferimento, non le pubblicazioni dei docenti che al momento della valutazione lavoravano presso la sede. Questo criterio tende a scoraggiare comportamenti strategici e opportunistici; ad esempio assumere un docente per un anno, al solo scopo di inserire i suoi lavori e migliorare il ranking. Tuttavia, si introduce un elemento di inerzia troppo accentuato. Supponiamo che nel 2006 l'università X decida di migliorare la propria ricerca in un certo settore assumendo un nuovo docente. Il docente prenderà servizio alla fine del 2006; le sue pubblicazioni del periodo 2004-06 non saranno però attribuite alla nuova sede e non saranno quindi oggetto del secondo ciclo di valutazione. Bisognerà attendere il terzo ciclo (2007-09), che sarà reso pubblico due anni dopo, nel 2011, per capire se e come il nuovo docente avrà modificato il ranking. Meglio sarebbe prevedere un aggiornamento annuale o biennale della valutazione, acquisendo i prodotti già valutati, e aggiungendo quelli che ogni anno si rendono disponibili.

Il metodo di valutazione

I prodotti selezionati dalle università (uno per ogni quattro ricercatori) e dagli enti di ricerca (uno per ogni due ricercatori) sono stati preliminarmente valutati da due esperti esterni al panel. Sulla base dei primi due giudizi, un componente del panel ha poi espresso una proposta di giudizio finale, vagliata all'interno del panel da uno specifico sottogruppo, che ha riesaminato il giudizio finale, esprimendo il proprio consenso o dissenso motivato. Nei casi in cui il consenso non è stato raggiunto dal sottogruppo, il giudizio finale è stato espresso collegialmente dal panel. Questa procedura garantisce il massimo di imparzialità, e tuttavia può comportare l'allungamento dei tempi anche quando non è necessario, ad esempio per lavori pubblicati su riviste internazionali di prestigio.

I tempi e i costi

I costi sono stati contenuti, meno di quattro milioni di euro secondo le cifre diffuse dal ministero dell'Istruzione, università e ricerca. Si tratta di una somma di circa quattro volte inferiore a quella del sistema di valutazione inglese, che si aggira sui 15 milioni di euro.
I tempi invece non sono stati brevi: un anno per selezionare i lavori da parte delle università, un altro per la valutazione dei panel. In futuro, sarà necessario comprimerli, anche sulla base dell'esperienza acquisita. Soprattutto perché la valutazione è efficace ex-ante, quando sono note le conseguenze della valutazione sulla distribuzione delle risorse: solo così si può sperare che orienti le scelte del corpo accademico, migliori la qualità della ricerca e stimoli la concorrenza tra università.

La trasparenza delle decisioni

Le relazioni finali dei panel sono disponibili integralmente sul web, in italiano e in inglese. Contengono un resoconto del lavoro svolto, delle decisioni prese, delle procedure adottate. Dai verbali emerge che nella grande maggioranza dei casi le decisioni sono state prese all'unanimità; il dissenso è limitato a pochissimi casi, documentati con relazioni di minoranza. Le responsabilità individuali e le prese di posizione non sono coperte dall'anonimato. Si tratta di un principio di trasparenza di grande valore rispetto alle abitudini vigenti nell'accademia italiana.

La pubblicità

Anche l'elenco dei lavori valutati è disponibile sul web. Chi lavora nelle università italiane sa quanto poco tempo sia dedicato alla discussione di temi di ricerca, e quanto invece a cavilli, regolamenti, delibere, verbali, riunioni estenuanti. Il Civr offre per la prima volta l'occasione per sapere cosa si fa nell'università, chi lo fa, come lo fa. Ci si può rendere conto di quali temi di ricerca vengono affrontati e quali sono i gruppi di ricerca attivi nelle varie sedi.

I risultati

Il ministro Moratti ha dato una lettura molto positiva dei risultati. "La ricerca italiana supera l'esame della valutazione," - ha osservato nel comunicato ufficiale - "dall'analisi dei dati emerge uno spaccato confortante della ricerca nazionale".
Come sempre, è difficile stabilire se un bicchiere sia mezzo pieno o mezzo vuoto. La tabella riporta, per ciascuna area disciplinare, il numero di lavori valutati, la percentuale dichiarata eccellente, il punteggio medio e il punteggio minimo e massimo ottenuto in ciascun settore. Complessivamente, il 30 per cento dei prodotti valutati è stato giudicato "eccellente", dove per "eccellente" si intende il 20 per cento più elevato secondo la scala di valore condivisa dalla comunità scientifica internazionale. Anche se è difficile confrontare i ranking di aree di ricerca con standard internazionali diversi, la percentuale di lavori dichiarati "eccellenti" è di oltre il 50 per cento nelle scienze fisiche e letterarie, ma raggiunge solo il 10 per cento nelle scienze agrarie, il 17 per cento nelle scienze economiche e statistiche, il 20-22 per cento nelle scienze giuridiche, nelle scienze politiche e sociali e in ingegneria civile e architettura. Anche all'interno delle aree vi è notevole dispersione. Guardando le sole strutture grandi e medie (almeno quaranta ricercatori), per molti settori l'oscillazione tra valori minimi e massimi è di circa 20 punti; sale a 30 per la chimica, la biologia, l'ingegneria civile, e a oltre 40 per le scienze economiche. Vi sono quindi significative differenze tra aree e all'interno delle aree. Bisogna poi ricordare che il Civr ha preso in esame soltanto le pubblicazioni migliori, in media soltanto una ogni quattro ricercatori.

Una domanda ai due schieramenti politici

Il ministro Moratti ha ribadito spesso che in sede di assegnazione delle risorse pubbliche per la ricerca, si terrà conto dei risultati della valutazione del Civr e che il 30 per cento del Fondo di funzionamento ordinario del Miur sarà calcolato sulla base della qualità della ricerca delle varie strutture. Ma sappiamo che il ministro è orientato verso altri incarichi. Sarà applicato questo principio? E con quali modalità?

E una ai rettori

Non ci sono solo i fondi del Miur. I rettori potranno, se vorranno, adottare misure specifiche per premiare o incentivare aree di eccellenza nelle rispettive università. Già ora ciascuna sede può predisporre un piano di sviluppo della ricerca razionalizzando le risorse esistenti, senza chiedere stanziamenti aggiuntivi. Come saranno utilizzati i ranking nazionali delle singole aree nelle rispettive università? Quali procedure saranno messe concretamente in atto per non disperdere le aree di eccellenza che esistono? Tra le aree meno forti, come saranno identificate quelle che sono suscettibili di sviluppo?

Aree disciplinari
Numero di lavori
% Lavori eccellenti
Rating minimo
Rating massimo
Rating medio
1. Scienze matematiche e informatiche
788
0.36
0.73
0.94
0.83
2. Scienze fisiche
1769
0.52
0.73
0.95
0.83
3. Scienze chimiche
1089
0.31
0.63
0.93
0.81
4. Scienze della terra
651
0.34
0.76
0.96
0.84
5. Scienze biologiche
1575
0.33
0.63
0.93
0.82
6. Scienze mediche
2640
0.25
0.62
0.85
0.77
7. Scienze agrarie
750
0.10
0.60
0.79
0.71
8. Ingegneria civile e architettura
768
0.22
0.64
0.94
0.75
9. Ingegneria industriale
1197
0.21
0.71
0.83
0.77
10. Scienze letterarie
1346
0.51
0.78
0.94
0.88
11. Scienze storiche e filosofiche
1177
0.28
0.62
0.85
0.79
12. Scienze giuridiche
1061
0.20
0.59
0.85
0.74
13. Scienze economiche
971
0.17
0.43
0.89
0.67
14. Scienze politiche e sociali
373
0.20
0.63
0.91
0.71

Nota. Il rating è il rapporto tra prodotti "pesati" per la qualità e il numero totale di prodotti valutati. I prodotti pesati si ottengono come E+0.8×B+0.6×A+0.2×L, dove E = Eccellente; B = Buono; A = Accettabile; L = Limitato. Minimi e massimi si riferiscono a mega-strutture (più di 400 ricercatori), grandi strutture (tra 100 e 400) o medie (tra 40 e 100), escludendo quindi le piccole (meno di 40). I valori medi si riferiscono a tutti i prodotti valutati. Non vengono riportate le 5 "aree speciali".