Citarsi addosso. Ascesa scientifica dell’Italia? No, solo doping per inseguire i criteri ANVUR

 A. Baccini G. DeNicolao E. Petrovich

Nonostante i pesanti tagli ai finanziamenti e al personale, la ricerca italiana negli anni post-riforma ha compiuto una sorta di miracolo: il suo impatto, misurato in termini di citazioni e produttività, anziché diminuire è addirittura aumentato. Secondo un rapporto stilato nel 2016 da SciVal Analytics per il governo britannico, le pubblicazioni italiane, non solo hanno superato quelle statunitensi in termini di impatto citazionale pesato (field-weighted citation impact), ma hanno raggiunto il secondo posto nel G8, appena dietro al Regno Unito. Sempre secondo lo stesso report, “based on current trajectories, [Italy is] set to overtake the UK in the near future“. La spiegazione? “La valutazione migliora l’università” aveva detto nel 2016 Andrea Graziosi, Presidente dell’Anvur, l’agenzia nazionale di valutazione della ricerca. Tuttavia, diversi studi stanno mostrando che l’uso massiccio della bibliometria nella valutazione della ricerca promuove comportamenti opportunistici da parte dei ricercatori. È appena uscito su PLOS ONE l’articolo “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis” (A. Baccini, G. De Nicolao, E. Petrovich) che introduce e studia un nuovo indice bibliometrico, l’Inwardness (“autoreferenzialità”), sensibile agli effetti su scala nazionale delle autocitazioni e dei club citazionali. A partire dal 2010, anno della riforma universitaria, c’è un brusco cambio di marcia nell’auto-referenzialità italiana, che mette il turbo, distaccandosi nettamente dai trend degli altri paesi del G10. Sembra esserci una sola spiegazione plausibile: la necessità di raggiungere gli obiettivi bibliometrici fissati da ANVUR ha creato un forte incentivo all’autocitazione e alla creazione di club citazionali. Tali comportamenti sono diventati così pervasivi da modificare il valore di Inwardness dell’intero Paese, sia globalmente che nella maggior parte dei settori. Così stando le cose, l’incremento dell’impatto citazionale italiano registrato nei “country ranking” è un miraggio, dovuto a un colossale doping citazionale collettivo.

Link all’articolo: https://journals.plos.org/plosone/article?id=10.1371/pone.0221212

1. Il paradosso italiano

Com’è noto, la riforma universitaria introdotta nel 2010 con la legge Gelmini (L240/2010) ha profondamente ridisegnato il sistema della ricerca italiano. Nel nome dell’uso efficiente dei fondi pubblici, i finanziamenti per la ricerca hanno subito tagli severi, il turnover è stato fortemente ridimensionato ed è stato messo in moto un complesso sistema di valutazione della ricerca, gestito dalla neonata Agenzia per la Valutazione della Ricerca e dell’Università (ANVUR). Com’è noto, spina dorsale di questo sistema sono gli indicatori bibliometrici che, da quel momento, svolgono un ruolo fondamentale nell’accademia. Non soltanto sono usati per valutare la performance dei dipartimenti e degli atenei, ma sono entrati anche nelle procedure di reclutamento e promozione dei ricercatori. Ad oggi, superare le cosiddette “soglie bibliometriche”, che nelle scienze dure sono calcolate sulla base di citazioni, pubblicazioni e h-index, è condizione necessaria per ottenere l’Abilitazione Scientifica Nazionale (ASN) nei settori scientifici.

Tuttavia, nonostante i pesanti tagli ai finanziamenti e al personale, la ricerca italiana negli anni post-riforma ha compiuto una sorta di miracolo: il suo impatto, misurato in termini di citazioni e produttività, infatti, anziché diminuire è addirittura aumentato.

Secondo un rapporto stilato nel 2016 da SciVal Analytics per il governo britannico, nel 2012 le pubblicazioni italiane hanno superato quelle statunitensi in termini di impatto citazionale pesato (field-weighted citation impact), e l’Italia ha raggiunto il secondo posto nella classifica dei Paesi G8, appena dietro al Regno Unito[i]. Sempre secondo lo stesso report, “based on current trajectories, [Italy is] set to overtake the UK in the near future“[ii]. Anche Nature, in un recente editoriale, ha riconosciuto il continuo miglioramento della performance italiana, nonostante il basso livello di spesa pubblica in ricerca e sviluppo (1.3%), ampiamente al di sotto della media europea.[iii]

2. Affama la bestia, schiocca la frusta bibliometrica

Tali risultati sembrano dimostrare che l’Italia sia diventata, grazie alla riforma, una specie di tigre della scienza europea. Tagli alla spesa, uniti al pervasivo uso di misurazioni bibliometriche, sembrerebbero essere la ricetta giusta per conquistare le vette dei ranking internazionali.

Secondo ANVUR, “Italy is one of the international best practices in the design and implementation of research evaluation exercises. In particular, the use of bibliometrics is at the forefront for how it deals with the problems of comparison between disciplines and for the sophisticated use of multiple indicators“. L’Agenzia mette in evidenza il crescente innalzamento della ricerca italiana verso elevati standard scientifici: “After a first phase in which autonomy was accompanied by centrifugal tendencies, in recent years Italian universities have shown a gradual convergence towards higher standards both in teaching […] and in the research activity.“[1]

Eppure, prima di proporre l’Italia come un modello vincente, da esportare magari in altri paesi europei e nei giganti emergenti della scienza del XXI secolo, Cina e India, è necessario considerare attentamente il lato oscuro del successo italiano.

3. Una mascherata bibliometrica

Sono sempre di più gli studi che mostrano come l’uso massiccio della bibliometria nella valutazione della ricerca induca comportamenti opportunistici da parte dei ricercatori. Di recente, uno studio di Ioannidis e colleghi ha rivelato che, tra i ricercatori più citati al mondo, ce ne sono alcuni che ricorrono in modo massiccio e sistematico all’autocitazione per far lievitare i propri indicatori. [iv]

Riguardo all’Italia, lavori recenti hanno rilevato un aumento dell’uso strategico delle autocitazioni all’interno di alcuni settori scientifici[v].

È appena uscito su PLOS ONE l’articolo “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis” (A. Baccini, G. De Nicolao, E. Petrovich)[vi] che introduce e studia un nuovo indice bibliometrico, l’Inwardness (“autoreferenzialità”), sensibile agli effetti su scala nazionale delle autocitazioni e dei club citazionali. Tale indicatore misura quante delle citazioni totali ricevute da un Paese provengano dal Paese stesso, cioè quanto dell’impatto totale di un Paese sia dovuto a citazioni “endogene”. In questo modo, l’indicatore è sensibile sia alle autocitazioni che ai cosiddetti “club citazionali” intra-nazionali (gruppi di connazionali che scambiano opportunisticamente citazioni) in quanto entrambi i tipi di citazione provengono dal Paese stesso.

Per la prima volta, viene mostrato chiaramente che la recente impennata dell’impatto citazionale dell’Italia è essenzialmente un miraggio, prodotto da un cambiamento del comportamento citazionale dei ricercatori italiani dopo la riforma.

Confrontando gli andamenti nel tempo dell’Inwardness dei Paesi del G10, a partire dal 2010, anno della riforma universitaria, c’è un brusco cambio di marcia nell’auto-referenzialità italiana, che mette il turbo, distaccandosi nettamente dai trend degli altri paesi del G10 nella maggior parte dei settori di ricerca. Dietro gli USA, nel 2016, l’Italia diventa, globalmente e nella maggior parte dei campi di ricerca, il Paese con l’Inwardness più alta, a fronte del più basso indice di collaborazioni internazionali.

La spiegazione più probabile di questo fenomeno è che le nuove policy introdotte dalla riforma abbiano indotto nei ricercatori italiani un sostanziale incremento dell’uso strategico delle citazioni. La necessità di raggiungere gli obiettivi bibliometrici fissati da ANVUR con ogni mezzo ha creato un forte incentivo all’autocitazione e alla creazione di club citazionali. Tali comportamenti sono diventati così pervasivi da modificare il valore di Inwardness dell’intero Paese, sia globalmente che nella maggior parte dei settori. Stando così le cose, l’incremento dell’impatto italiano registrato nei ranking citazionali non sarebbe altro che il frutto di un doping citazionale collettivo. Dietro al caso italiano non ci sono politiche della scienza miracolose, ma una gigantesca mascherata bibliometrica.

Che lezione dovremmo trarre da questi dati? Qualcuno potrebbe pensare che l’uso di indicatori più raffinati o la rimozione delle autocitazioni dai calcoli basterebbe a risolvere il problema. Dal nostro punto di vista questa soluzione è invece destinata al fallimento: i ricercatori sono estremamente veloci ad adattarsi ai cambiamenti nella science policy e qualsiasi nuovo indicatore non farebbe altro che stimolare strategie di “gaming” più raffinate, in accordo con la famosa legge di Goodhart (“Quanto una misura diventa un obiettivo, cessa di essere una buona misura”).  Noi pensiamo al contrario che l’insegnamento da ricavare sia che non esiste alcuna bacchetta magica – bibliometrica o di altro tipo – che possa gonfiare la performance scientifica di un Paese. Soltanto un massiccio investimento nella ricerca può farlo.

[1] ANVUR, Rapporto biennale sullo stato del sistema universitario e della ricerca 2018, 2018, https://www.anvur.it/rapporto-biennale/rapporto-biennale-2018/

[i] Nature, Seven days: 6–12 December 2013, https://www.nature.com/news/seven-days-6-12-december-2013-1.14335

[ii] BIS, U. K. International Comparative Performance of the UK Research Base–2016. 2016, https://www.elsevier.com/research-intelligence/research-initiatives/beis2016

[iii] Nature, Editorial, ‘Memo to Italy’s president: your researchers need you’, 27 August 2019, https://www.nature.com/articles/d41586-019-02560-1

[iv] John P. A. Ioannidis et al., ‘A Standardized Citation Metrics Author Database Annotated for Scientific Field’, PLOS Biology 17, no. 8 (12 August 2019): e3000384, https://doi.org/10.1371/journal.pbio.3000384.

[v] Marco Seeber et al., ‘Self-Citations as Strategic Response to the Use of Metrics for Career Decisions’, Research Policy 48, no. 2 (March 2019): 478–91, https://doi.org/10.1016/j.respol.2017.12.004; Federico Scarpa, Vincenzo Bianco, and Luca A. Tagliafico, ‘The Impact of the National Assessment Exercises on Self-Citation Rate and Publication Venue: An Empirical Investigation on the Engineering Academic Sector in Italy’, Scientometrics 117, no. 2 (November 2018): 997–1022, https://doi.org/10.1007/s11192-018-2913-5.

[vi] A. Baccini, G. De Nicolao, E. Petrovich, “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis”, PLOSONE, 09.11.2019 https://journals.plos.org/plosone/article?id=10.1371/pone.0221212