Collaborazionisti o resistenti. L’accademia ai tempi della valutazione della ricerca

Alberto Baccini

Questo intervento tenta di rispondere alla domanda: ma una valutazione massiva della ricerca, come quella sviluppata in Italia con la VQR o nel Regno Unito con il RAE/REF, serve davvero? Nella prima parte discuto cinque argomenti usati per giustificare esercizi massivi di valutazione ex post della ricerca. Dopo aver mostrato che questi cinque argomenti non sono robusti, tento di spiegare a che serve davvero la valutazione. E suggerisco di abbandonare la retorica dell’eccellenza a favore di quella della solidità della ricerca. Un primo passo per far crescere il numero dei resistenti nella comunità accademica.

Argomento 1: Così fan tutti.

Il primo argomento a giustificazione della valutazione della ricerca è quello secondo cui “così fan tutti”: la valutazione massiva della ricerca è una prassi diffusa e consolidata nella gran parte dei paesi avanzati, e quindi ci si deve adeguare.

La realtà è però un bel po’ diversa. Non è inutile ricordare che bibliometria e scientometria furono salutate con particolare favore in Unione Sovietica, perché considerate una “base oggettiva” su cui lo stato poteva prendere decisioni per il finanziamento della ricerca (V.I. Yanovsky, 1981).

La valutazione massiva della ricerca è però una invenzione di Margaret Thatcher. Nel Regno Unito nel 1986 si svolse il primo esercizio nazionale di valutazione. Simon Jenkins (2007) non esita a etichettare questa parte della politica thatcheriana come una forma di leninismo.

In realtà solo nel Regno Unito ed in Italia sono stati realizzati esercizi di valutazione che potenzialmente valutano con peer review tutto lo staff di ricerca del paese per distribuire risorse (A. Baccini, 2013, Aldo Geuna and Matteo Piolatto, 2016).

Il primo argomento a favore della valutazione massiva: “così fan tutti”, non è solido, perché semplicemente non è vero che così fan tutti. In realtà solo UK ed Italia fanno così.

Argomento 2: La valutazione ha indubitabili vantaggi, superiori ai costi.

Il secondo argomento è che la valutazione ha indubitabili vantaggi, sicuramente superiori ai costi. Qui la prima domanda da porsi per discutere l’argomento è: ma esistono stime dei benefici e dei costi? Sui costi sappiamo molto. Sui benefici quasi nulla. Le analisi dei benefici (Ian McNay, 2010) rimandano invariabilmente ad un articolo (A. Geuna and B. R. Martin, 2003), in cui si sostiene, senza riferimento a dati empirici, che la valutazione massiva della ricerca ha rendimenti decrescenti. I benefici che un paese ricava dal primo esercizio di valutazione sono maggiori di quelli che si ricavano dal secondo e così via.

Stime dei costi sono disponibili sia per l’UK che per l’Italia. In UK ci sono le stime ufficiali di una società specializzata (Technopolis) incaricata dall’HEFCE:  il REF è costato circa £246 milioni (Kristine Farla and Paul Simmonds, 2015). In Italia abbiamo tre stime: la prima di Giorgio Sirilli pubblicata su Roars secondo la quale la VQR 2004-2010 sarebbe costata circa 300 milioni di euro. Una seconda di Geuna e Piolatto (2014) che stimano il costo della VQR in 182 milioni di euro, poi ridotti ad un anno di distanza a 71 milioni di euro (Aldo Geuna and Matteo Piolatto, 2016).

Direi quindi che anche il secondo argomento – ci sono indubitabili vantaggi, sicuramente superiori ai costi – cade. Perché ad oggi non esistono stime attendibili dei benefici da confrontare con i costi.

Argomento 3: Bisogna rendere conto al contribuente del lavoro dei ricercatori.

Il terzo argomento è molto serio: i ricercatori e le università devono rendere conto del loro lavoro al contribuente. Il punto non è negare che ricercatori ed università debbano rendere conto ai cittadini. Il punto è notare che la valutazione massiva della ricerca non serve adeguatamente a questo scopo. Dubito fortemente che i cittadini abbiano letto con attenzione i rapporti finali VQR. Il cittadino sarebbe probabilmente molto più interessato a quella parte dei lavoro dei professori che non sia la pubblicazione su riviste scientifiche. Cioè principalmente la didattica, e l'”impatto economico e sociale” della ricerca. Ma per rendere conto ai cittadini su questi ambiti di attività non serve una valutazione massiva della ricerca come quelle che conosciamo.

Argomento 4: Stanare i fannulloni.

Il quarto argomento riguarda i fannulloni. La valutazione massiva della ricerca serve a individuare le cosiddette “code basse” cioè i professori che non fanno ricerca e non pubblicano. Un argomento che nel dibattito pubblico italiano ha acquistato una notevole rilevanza.

L’argomento si scontra con una prima difficoltà: il RAE ed il REF non sono disegnati per raggiungere questo scopo. Ne REF 2014 sono stati oggetto di valutazione soltanto il 28,1% dei professori britannici. Quindi l’argomento non vale certo per giustificare l’adozione in UK della valutazione massiva.

E’ perciò interessante constatare “come pensano i professori”: sono molto sensibili, non solo in Italia, all’argomento dei fannulloni. E malgrado il RAE sia disegnato ad altro scopo, ne giustificano l’uso, proprio in riferimento a questo argomento (Michael Keating, 2011):

Ma le code basse esistono davvero? Sì, ma non sono verosimilmente code basse: John P. A. Ioannidis et al., 2014 mostrano che meno dell’1% degli oltre 15 milioni di autori registrati su Scopus, ha prodotto continuativamente almeno un articolo l’anno nel periodo 1996-2001.

Ma in Italia quanti sono i professori non attivi e parzialmente attivi scovati dall’ANVUR?

I dati non sono mai stati pubblicati nella forma che trovate nella tabella successiva (i cui dati sono mi sono stati forniti da Francesco Prota che li ha raccolti nell’ambito della ricerca della Fondazione RES confluita in Viesti, 2016).

Sono complessivamente 1.287 individui su un totale di 44.153 professori e ricercatori sottoposti a valutazione, cioè un po’ meno del 3%. Se a questi aggiungiamo i parzialmente attivi arriviamo al 5%.

Questo significa che al contribuente italiano scovare un fannullone è costato tra gli 82 mila e i 136 mila, a seconda delle stime dei costi che si preferisce adottare. Non è da trascurare che queste informazioni erano già note o potenzialmente note a costi trascurabili ai nuclei di valutazione e quindi ai rettori, prima della VQR. Alcuni nuclei di valutazione di alcuni atenei pubblicavano già liste di docenti inattivi nella ricerca. Ed ora che sappiamo quanti sono, che cosa facciamo? Rimediamo: è verosimile che in vista della VQR 2011-2014 ci sia stato un consistente impegno a far figurare gli inattivi nelle byline di articoli scritti da altri membri di un dipartimento.

Mi sembra che anche questo quarto argomento non sia particolarmente solido.

Argomento 5: La valutazione fornisce incentivi desiderabili per i comportamenti dei ricercatori.

E veniamo ora al quinto argomento: la valutazione fornisce incentivi individuali e collettivi per l’adozione di comportamenti che spingono al miglioramento dei risultati della ricerca. Qui le evidenze empiriche sono di segno fortemente negativo. Esiste ampia letteratura e documentazione degli effetti negativi dei meccanismi di valutazione, non solo massivi, della ricerca.

P. Wouters (2014) ha riassunto in modo estremamente efficace gli effetti voluti e non voluti degli esercizi di valutazione:

In summary, the evidence indicates that performance-informed  (with or without a formal link between perfomance and funding) does indeed increase the pressure on researchers and institutions to meet the performence criteria, irrespective of whether the latter are based on peer review or on citations. This is clearly an intended effect. […] The research community respond strategically, and this may in turn create unintended effects, either through the mechanism of goal displacement or through more structural changes in research priorities, publication activities, or research capacities and organization.

Opinione del tutto simile si può leggere in un recente editoriale su The Lancet .

Esiste ormai una ampia letteratura che classifica le forme di uso strategico indotte dalla valutazione.

Per quanto riguarda una delle forme privilegiate di valutazione adottata in Italia, la classificazione delle riviste, Björn Brembs et al. (2013) ne hanno studiato gli effetti non voluti, mostrando che nelle riviste a più elevato impact factor si concentrano gli articoli ritrattati. Gli articoli ritrattati sono articoli che dopo essere stati pubblicati vengono eliminati dalla letteratura scientifica per decisione degli autori o degli editori della riviste.

Gran parte delle ritrattazioni hanno origine da comportamenti inadeguati dei ricercatori, come la creazione di dati, la manipolazione di immagini, o altre forme di academic malpractices. Tra queste rientra ovviamente il plagio. Per quanto riguarda la letteratura biomedica, l’Italia ha un primato di cui non si può andare fieri: è il paese con la più elevata concentrazione di ritrattazioni per plagio (Roberto Todeschini and Alberto Baccini, 2016).

A questi comportamenti scorretti, indotti o favoriti dalle tecniche di valutazione, si deve aggiungere che la valutazione tende per sua natura a premiare la ricerca disciplinare, a discapito di quella interdisciplinare, ed a favorire la ricerca mainstream rispetto a quella eterodossa. Frederic S. Lee et al. (2013) hanno per esempio documentato la progressiva eliminazione dell’economia eterodossa in Gran Bretagna a partire proprio dai risultati del RAE 2008.

Sembra quindi di poter affermare che nessuno dei cinque argomenti che giustificano la valutazione massiva della ricerca sia solido.

Ma a che serve allora la valutazione massiva della ricerca?

Ma allora a che serve davvero la valutazione massiva ex-post della ricerca? Una prima possibile risposta proviene dalla letteratura sulla governmentality: la valutazione della ricerca è lo strumento attraverso cui i governi tengono sotto controllo i comportamenti accademici (V. Pinto, 2013). Una seconda risposta è suggerita da Samuel Moore et al. (2016): la valutazione serve per placare “semi-outsiders: funders, governements, university administrators, a suspicious general public” e ricevere in cambio risorse. Di fatto la valutazione è il prezzo che le università pagano per ricevere fondi. Si pensi a molti interventi recenti della CRUI dove si sostiene che l’università è l’unico settore della pubblica amministrazione italiana che ha accettato di essere valutato, e che per questo merita un aumento dei finanziamenti:

“L’Università vuole essere valutata, tanto nella didattica quanto nella ricerca, vuole procedure di reclutamento trasparenti e severe, vuole che sia dato un vero diritto allo studio per i capaci e i meritevoli anche se privi di mezzi, vuole inserire le nuove leve nella ricerca. Per far questo occorrono poche cose sulle quali la CRUI farà presto proposte precise: autonomia responsabile, semplificazione delle procedure, apertura internazionale e misure per la competitività e la cooperazione del sistema e infine, non meno importante, un nuovo modello di finanziamento, adeguato, ben definito e stabile”. [CRUI1; CRUI2; ANVUR]

Una terza spiegazione, derivata dalla letteratura sul capitalismo cognitivo, sostiene che la valutazione è lo strumento attraverso cui si attua lo sfruttamento del lavoro cognitivo (F. Coin, 2014). Il meccanismo della valutazione e della competizione seduce i ricercatori cui è promesso un premio che è solo simbolico e continuamente rimandato nel tempo: l’eccellenza. Il lavoratore cognitivo rinuncia al suo tempo di vita, sostituendolo con tempo di lavoro (autosfruttamento), ed accetta condizioni di lavoro precarie; il tutto mascherato dietro l’apparenza della libertà accademica, del progresso  della scienza e della modernizzazione.

Collaborazionisti o resistenti?

In questo contesto partecipare alla valutazione e al contempo reclamare spazio per il pluralismo all’interno delle procedure, appare una opzione votata al fallimento, perché del tutto inefficace nel modificare sostanzialmente le conseguenze volute e non volute della valutazione.

Stefan Collini (2012) ha suggerito di usare le categorie dei “collaborazionisti” e dei “resistenti” per classificare i membri della comunità accademica sulla base del modo in cui ciascuno reagisce all’occupazione dello spazio della didattica e della ricerca da parte di una agenzia di valutazione burocratizzata.

Il primo passo perché diventi possibile la diffusione della resistenza alla valutazione è un cambio di retorica. Moore et. al  (2016) suggeriscono che si debba passare dalla retorica dell’eccellenza a quella della soundness. La ricerca socialmente desiderabile non è la ricerca eccellente, è la ricerca solida. La ricerca solida è la buona ricerca.

La ricerca solida:

1. adotta standard descrittivi appropriati,
2. è basata sull’evidenza,
3. è il frutto di comportamenti eticamente corretti da parte dei ricercatori;
4. garantisce la completa riproducibilità dei risultati
5. garantisce la completa disponibilità pubblica dei dati su cui è basata (open science)

La ricerca solida ha a che fare con l’ineccellenza, cioè con i principi di comportamento descritti nella carta dell’ineccellenza elaborata da un gruppo di ricercatori dell’università libera di Bruxelles e adattata in italiano da Maria Chiara Pievatolo:

Che fanno allora i resistenti? Adottano la retorica della ricerca solida contro quella l’eccellenza. Adottano la retorica dei comportamenti corretti contro quella della valutazione. Contribuiscono a definire specificamente per ogni area della ricerca cosa significhi ricerca solida. Rifiutano di collaborare a valutazioni e procedure che non rispettino i principi della ricerca solida.

Testo dell’intervento tenuto al XIII convegno STOREP, Catania, 24 giugno 2016.

Riferimenti.

Baccini, A. 2013. “Come E Perché Ridisegnare La Valutazione.” Il Mulino, 2013(1), 80-87.

Brembs, Björn; Katherine Button and Marcus Munafò. 2013. “Deep Impact: Unintended Consequences of Journal Rank.” Frontiers in Human Neuroscience, 7.

Coin, F. 2014. “Turning Contradictions into Subjects: The Cultural Logic of University Assessment.” Knowledge Cultures, 1(4), 145-73.

Collini, Stefan. 2012. What Are Universities For? London: Penguin books.

Farla, Kristine and Paul Simmonds. 2015. “Ref 2014 Accountability Review: Cost, Benefits and Burden,” Technopolis Gropu,

Geuna, A. and B. R. Martin. 2003. “University Research Evaluation and Funding: An International Comparison.” Minerva, 41(4), 277-304.

Geuna, Aldo and Matteo Piolatto. 2016. “Research Assessment in the Uk and Italy: Costly and Difficult, but Probably Worth It (at Least for a While).” Research Policy, 45(1), 260-71.

Ioannidis, John P. A.; Kevin W. Boyack and Richard Klavans. 2014. “Estimates of the Continuously Publishing Core in the Scientific Workforce.” PLoS ONE, 9(7), e101698.

Jenkins, Simon. 2007. Thatcher and Sons. A Revolution in Three Acts. London: Penguin Books.

Keating, Michael. 2011. “Research Assessment in the United Kingdom.” EUI Review, (Winter), 19-20.

Lee, Frederic S.; Xuan Pham and Gyun Gu. 2013. “The Uk Research Assessment Exercise and the Narrowing of Uk Economics.” Cambridge Journal of Economics, 37(4), 693-717.

McNay, Ian. 2010. “Research Quality Assessment,” P. Peterson, E. Baker and B. McGaw, International Encyclopedia of Education. Oxford: Elsevier, 307-15.

Moore, Samuel; Cameron Neylon; Martin Paul Eve; Damien Paul O’ Donnell and Damian Pattinson. 2016. “Excellence R Us: University Research and the Fetishisation of Excellence,” figshare:

Pinto, V. 2013. “La Valutazione Come Strumento Di Intelligence E Tecnologia Di Governo.” Aut Aut, (360), 16-42.

Todeschini, Roberto and Alberto Baccini. 2016. Handbook of Bibliometric Indicators. Quantitative Tools for Studying and Evaluating Research. Wiley-VCH.

Viesti, Gianfranco ed. 2016. Università in Declino. Un’indagine Sugli Atenei Da Nord a Sud. Roma: Donzelli.

Wouters, P. 2014. “The Citation: From Culture to Infrastructure,” B. Cronin and C. R. Sugimoto, Beyond Bibliometrics. Harnessing Multidimensional Indicators of Scholarly Impact. Cambridge, Ma.: MIT Press,

Yanovsky, V.I. 1981. “Citation Analysis Significance of Scientific Journals.” Scientometrics, 3, 223-33.

https://