La Voce-Un passo nella giusta direzione.Si è conclusa la valutazione della produttività scientifica delle università e dei centri di ricerca italiani ...

08-02-2006
Un passo nella giusta direzione
Fabio Schiantarelli

Si è conclusa la valutazione della produttività scientifica delle università e dei centri di ricerca italiani organizzata dal Comitato di indirizzo per la valutazione della ricerca (Civr) per il periodo 2001-2003. (È un fatto positivo che abbia avuto luogo e che le linee guida si riferissero esplicitamente a standard di eccellenza internazionali. Il suo limite principale è la mancanza di un chiaro legame con la riallocazione di risorse finanziarie consistenti a favore delle università migliori in termini di ricerca, a scapito delle università peggiori.

Criteri di valutazione

L'obiettivo esplicito era considerare il "Posizionamento del prodotto rispetto all'eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale". Questo criterio è essenziale nel valutare la ricerca dei singoli e delle università. Non so se questo sia successo in tutte le discipline. Nell'area che conosco meglio, la mia esperienza diretta come referee e un'attenta lettura delle conclusioni finali del panel incaricato di scienze economiche e statistiche suggerisce che questo criterio di eccellenza scientifica internazionale sia stato in larga parte rispettato.
Questo non è successo senza discussioni e dissensi. Esiste ancora nell'accademia italiana una componente che ritiene che il riferimento a standard internazionali nasconda l'imposizione di un paradigma particolare (l'economia neoclassica) dominante negli Stati Uniti e di lì esportato. Questa posizione è sbagliata ed è basata su una visione distorta e antiquata di che cosa sia la ricerca economica a livello internazionale. E ignora gli sviluppi nuovi e la diversificazione avvenuta dalla fine degli anni Sessanta a oggi. Fortunatamente queste posizioni si sono rivelate minoritarie.

Altri aspetti interessanti

Un altro elemento positivo è che l'esercizio sia stato condotto con grande trasparenza, in tempi relativamente brevi e con buona efficienza, nonostante alcuni problemi tecnici. Certamente può essere ripetuto regolarmente, in modo da riflettere i cambiamenti di qualità in corso nelle università italiane.
È interessante che in alcuni casi chi (rettori, direttori di dipartimento, eccetera) doveva decidere dentro le università gli studi da sottomettere, lo abbia fatto non in base a criteri di qualità, ma di equilibrio politico interno: pensavano forse che l'esercizio non sarebbe stato serio o che non ci sarebbero state conseguenze finanziarie? Nonostante tutto, per economia e statistica la valutazione del Civr dà risultati più affidabili di quelli che si ottengono valutando la qualità della ricerca nelle università sulla base del numero dei progetti finanziati dal Miur (come ad esempio l'indagine Censis-Repubblica).
È certamente possibile e necessario introdurre miglioramenti e cambiamenti nel processo di valutazione e nelle strutture che ne sono incaricate, ma manca qui lo spazio per una discussione approfondita. (2) Un tema su cui bisogna discutere è invece l'istituzione di un un'agenzia per la ricerca come la National Science Foundation negli Stati Uniti, separata e indipendente dalle strutture ministeriali, e incaricata di valutare la qualità scientifica degli gli atenei e dei progettidi ricerca. Un secondo tema importante è che cosa possiamo imparare da esercizi sulla valutazione delle università condotti in altri paesi, come il Research Assessment Exercise nel Regno Unito.

Limiti

Il limite principale di tutto il processo di valutazione appena condotto è la mancanza di un chiaro legame con la riallocazione delle risorse finanziarie a favore delle università con il livello di ricerca più alto, a scapito delle università di peggiore qualità.
A regime, il ministro Moratti ha suggerito che il 30 per cento delle risorse dovrebbero essere allocate sulla base della valutazione della qualità della ricerca scientifica di ciascun ateneo.
Tuttavia, non è chiaro quali saranno in pratica le conseguenze finanziarie per ciascuna università di questo primo ciclo di valutazione e quando verrà ripetuto. Se al giudizio non seguisse una riallocazione delle risorse, il processo risulterebbe di limitata utilità. Solo se i soldi vanno dove si produce ricerca (come avviene per esempio nel Regno Unito, nel contesto di un sistema essenzialmente pubblico) si può nutrire un minimo di speranza per il futuro della ricerca nell'università. D'altra parte, si può facilmente immaginare le resistenze che possono sorgere verso una tale riallocazione e non mi è chiaro se esista in Italia la volontà politica di vincerle.

Risultati

Quali sono le conclusioni di questo processo di valutazione per il raggruppamento che comprende le scienze economiche e statistiche? Un primo risultato interessante è che se la qualità media della ricerca in economia e statistica non è soddisfacente, quella in economia aziendale è assolutamente disastrosa (con poche eccezioni). Basta un unico dato indicativo: solo il 27 per cento dei contributi di economia aziendale sono pubblicati su riviste internazionali di qualche prestigio. (3) Per economia la proporzione è il 57 per cento e per statistica il 75 per cento.
Per quanto riguarda il ranking delle università non ci sono molte sorprese. (4)
Tra le grandi strutture la Bocconi (0.89), Bologna (0.81), Siena (0.80), Torino (0.76) e la Cattolica (0.70) occupano i primi cinque posti. Tra le medie strutture, Modena e Reggio Emilia (0.89), Salerno (0.86), Venezia(0.86), Pavia (0.85), e Padova (0.85) sono in testa alla classifica.
Rimane il fatto deprimente che nei ranking internazionali le università italiane vanno male. Appaiono, per esempio, al meglio solo tra il cinquantesimo ed il sessantesimo posto (Bocconi e Bologna ) tra le istituzioni europee e statunitensi, in termini di stock di produzione scientifica totale nel periodo 1996-2000 (pesata per la qualità delle riviste). In termini di produzione pro capite le cose vanno peggio (solo la Bocconi appare tra il sessantesimo e il settantesimo posto). (5)

Conclusioni

Una domanda interessante è come risponderanno le università alla loro posizione nelle classifiche. Per esempio, a quali pressioni si sentirà sottoposta un'università che è in fondo alle classifiche, per fare meglio? L'umiliazione in termini di reputazione può essere fonte di miglioramento, ma non basta. L'incentivo economico sarebbe certamente più potente. Per ora c'è da sperare che la brutta figura fatta contribuisca a dare più voce ai ricercatori di qualità e li aiuti nelle loro battaglie per un'università migliore. Considerazioni analoghe si applicano per le università in cima alla classifica: l'incentivo economico rafforzerebbe il loro desiderio di rimanervi.
Se gli incentivi fossero giusti (e non lo sono nella situazione attuale, nemmeno con la riforma Moratti), bisognerebbe lasciare autonomia alle università nelle politiche di assunzione, promozione e remunerazione. In mancanza di incentivi per le università ad assumere i migliori ricercatori e di stipendi competitivi e differenziati per attrarli, la fuga dei cervelli verso l'estero continuerà.
È troppo presto per dire se le dovute conseguenze verranno tratte da questo primo passo nella direzione giusta e se esso verrà seguito da altre modifiche sostanziali. Confesso che il mio ottimismo del desiderio è tenuto sotto controllo dal pessimismo della ragione, che riconosce come sia difficile cambiare un sistema distorto con molti ricercatori e dipartimenti di bassa qualità avversi al cambiamento.

(1) Ricordiamo brevemente le procedure. Le "strutture" (dipartimenti, centri di ricerca) dovevano selezionare un numero di contributi (articoli, capitoli in libri, etc.) prodotti durante il periodo 2001-2003 pari al 50 per cento del numero medio di ricercatori a tempo pieno nel triennio (per l'università, in pratica, un prodotto ogni quattro unità di personale accademico). I contributi venivano assegnati a componenti di diversi panel (uno per ciascuna area di ricerca) composti da esperti selezionati dal ministero dell'Istruzione, dell'università e ricerca, che a loro volta li assegnavano a referee esterni. I contributi dovevano essere valutati in base alla qualità, rilevanza, originalità e internazionalizzazione. Ciascun contributo poteva essere valutato come "eccellente", "buono", "accettabile", o "limitato" dai referee. Ciascun panelista, sulla base del lavoro dei referee proponeva una di queste quattro valutazioni, su cui poi il panel doveva esprimersi a maggioranza. Il Civr procedeva poi ad aggregare i voti per ciascuna struttura e a esprimerli come qualità media ponderata (quindi su una scala che ha 1.0 come valore massimo) dando peso 1 a "eccellente", peso 0.8 a "buono", peso 0.6 ad "accettabile" e peso 0.2 a "limitato". Per dettagli si veda: https://vtr2006.cineca.it/
(2) Temi specifici da discutere sono, ad esempio: a) la scelta tra misure di flusso e di stock (meglio queste ultime); b) il numero totale e per membro dei contributi (ora troppo piccolo); c) l'automatizzazione (o meno) di parte del processo sulla base di una classifica delle riviste fondata sulla loro qualità (o del tipo di case editrici per libri e capitoli); d) la lunghezza del periodo coperto e la frequenza della valutazione; e) la scelta dei membri dei panel.
(3) Riviste con Impact Factor attribuito dall'Institute for Scientific Information.
(4) Una sorpresa è la classifica di Roma Tor Vergata (ventottesima su trentuno strutture medie), che risulta meglio piazzata (seconda) nella classifica di Dosi e Sembenelli, basata sul numero di contributi pro capite che compaiono in Econ Lit. (Si veda G. Dosi e A. Sembenelli, "Una nota sulla produttività scientifica dei docenti italiani nelle discipline economiche", mimeo, 2005, tabella 4). Lascio agli interessati decidere quanto ciò sia dovuto al fatto che una minoranza di ricercatori di grande valore sia circondata da un grande numero di ricercatori mediocri e quanto alla scelta dei contributi presentati al Civr.

(5) Si veda tabella B1 e B2 (prime due colonne) in Combes, P.P. and L. Linnemer, "Where are the economists Who Publish? Publication Concentration and Rankings in Europe Based on Cumulative Pubblications". Journal of the European Economic Association, December 2003.