Classifica ARWU: un’università italiana nella top 100. Subito e a costo zero.

Ben 14 università italiane superano Cambridge e Harvard nella Champions League delle università. Potrebbe sembrare un esempio di fake news, soprattutto se avete letto gli esiti appena pubblicati dell’edizione 2017 della Classifica ARWU. Come al solito, nessuna italiana nelle prime 150. Ma cosa succederebbe se la gara tenesse conto delle disponibilità economiche? Abbiamo immaginato una Champions League tra le migliori università di ogni nazione e 15 atenei italiani, mettendo a confronto l’efficienza nell’utilizzo dei fondi. Il risultato? Una cinquina di università italiane nei primi 5 posti, di cui tre lombarde. Una magra consolazione, dirà qualcuno. Quello che conta sono le classifiche ufficiali e, per entrare nell’Olimpo della top 100, dovremmo concentrare miliardi di euro in pochi atenei, a costo di scardinare definitivamente quel che resta del diritto allo studio, soprattutto al Sud. Eppure nella pseudoscienza delle classifiche c’è una falla che può essere sfruttata per portare (a costo zero!) un ateneo italiano nell’Olimpo. Basterebbe un tratto di penna per creare la Big University of Milan (BUM). Dall’oggi al domani sarebbe 61-esima nella classifica ARWU, davanti a McGill University, Ecole Normale Superieure – Paris, Rice University, Swiss Federal Institute of Technology Lausanne, Technion-Israel Institute of Technology, per citarne solo alcune. Uno scherzo ferragostano? No, un esercizio pedagogico per aiutare i nostri lettori a guarire dalla superstizione delle classifiche, comprendendole un po’ meglio.

1. Puntuale, a Ferragosto arriva …

… la classifica di Shanghai, nota anche come ARWU (Academic Ranking of World Universities). “Mai una gioia”, verrebbe da dire. Nessuna italiana nelle prime 100, anzi nelle prime 150. Non diversamente dagli esiti di altre classifiche internazionali, sembra la certificazione del deplorevole stato in cui versano le nostre università. A poco vale far notare che le statistiche aggregate a livello nazionale collocano da sempre l’Italia nelle prime otto nazioni produttrici di ricerca scientifica. E che, in rapprorto alla spesa per ricerca, la produttività italiana non abbia nulla da invidiare a quella degli USA, della Germania, della Francia e del Canada. Niente da fare. La fascinazione per le classifiche è troppo forte.

Eppure, a più riprese, gli esperti ne hanno evidenziato le falle scientifiche, mettendo anche in guardia dall’usarle come punto di riferimento delle politiche nazionali e della ricerca. Per quanto riguarda l’Italia, queste classifiche forniscono facili argomenti a chi, come Matteo Renzi, diceva:

le sembra possibile che il primo ateneo che abbiamo in Italia nella classifica mondiale sia al centoottantatreesimo posto? Io vorrei che noi portassimo i primi cinque gruppi, poli di ricerca universitari nei vertici mondiali.

E anche:

non possiamo pensare di portare tutte le 90 università nella competizione globale, allora ci spazzeranno via tutti quanti

Una retorica fin troppo facile. Si immagina che le classifiche delle università siano un  po’ come i 200 m stile libero. Pronti, via! Vinca la migliore! E l’orgoglio nazionale non può sopportare che nessun ateneo italiano arrivi in finale.

In realtà, le statistiche ARWU mostrano che gli atenei italiani che entrano nella top 500 sono 16, mentre sono 37 quelli che entrano nella top 800. Webometrics censisce circa 26.000 istituzioni universitarie nel mondo. Se prestiamo fede ad ARWU, vorrebbe dire 37 atenei italiani si collocano nel top 3% mondiale.

Ma ciò che fa presa sono le prime cento posizioni. Già nel 2015 avevamo proposto un “esercizio pedagogico”: come cambierebbe la classifica ARWU se invece di guardare ai soli risultati li si rapportasse alle risorse economiche? L’esito era stato sorprendente: messe a confronto con le prime 20 università mondiali, le 20 italiane si battevano ad armi pari, anzi andavano ad occupare le posizioni di testa.

A distanza di due anni, vogliamo proporre un altro esercizio pedagogico. Questa volta, la sfida sarà una vera e propria Champions League: ogni nazione partecipa con il suo campione nazionale. Ma non ci limiteremo a questo. Mostreremo  anche come l’Italia potrebbe portare un suo ateneo nella top 100 della classifica ARWU. E senza spendere un Euro.

2. La Champions League delle università mondiali

Visto che le competizioni piacciono, usiamo i risultati dell’edizione 2017 della classifica ARWU per un esercizio di fanta-calcio accademico: la Champions League delle università. Immaginiamo una competizione, riservata agli atenei che entrano nella top 100, a cui può partecipare solo un’università per nazione. In pratica, è come mettere in competizione i vincitori dei diversi campionati nazionali. Le nazioni che riescono a collocare almeno un ateneo nella top 100 sono poco meno di una ventina. Non tutte, però, rispettano i requisiti di ammissione che specifichiamo nella Nota tecnica in fondo all’articolo. Ci ritroviamo quindi con 16 atenei che rappresentano al meglio le rispettive nazioni.

Il punto chiave del nostro esercizio pedagogico è mettere in competizione questi 16 squadroni con le 15 università statali italiane che riescono ad entrare nelle prime 500 della classifica ARWU. Ecco l’elenco completo delle squadre in gara.

A prima vista, per le italiane è un torneo senza speranza. Basta scorrere la prima colonna per vedere che le prime due italiane galleggiano tra la 151–esima e la 200-esima posizione, bel lontano dall’Olimpo delle prime 100 posizioni dove si collocano le nostre formidabili avversarie.

Come organizzare una gara ad armi pari? Ricordiamoci su quali indicatori è basata la classifica ARWU:

1. alumni of an institution winning Nobel Prizes and Fields Medals (peso 0,1);
2. staff of an institution winning Nobel Prizes and Fields Medals (peso 0,2),
3. the number of Highly Cited Researchers selected by Thomson Reuters (peso 0,2);
4. the number of papers published in Nature and Science between 2012 and 2016. (peso 0,2);
5. total number of papers indexed in Science Citation Index-Expanded and Social Science Citation Index in 2014. (peso 0,2);
6. the weighted scores of the above five indicators divided by the number of full-time equivalent academic staff (peso 0,1).

Se consideriamo che c’è poco da fare per migliorare gli indicatori 1. e 2. sui premi Nobel e simili e che anche gli indicatori 3. e 4. tendono a premiare alcune discipline a scapito di altre, decidiamo di mettere a confronti gli atenei sulla base dell’indicatore 5., il numero totale di lavori scientifici. Escludiamo l’indicatore 6., pur interessante per il tentativo di normalizzazione rispetto alla numerosità del corpo accademico, perché è un potpourri di tutti gli altri indicatori.

3. Classifiche: la meritocrazia dei soldi?

Prima di fischiare il calcio di inizio, ci viene in mente che persino gli australiani, che nella top 100 ci entrano ampiamente (Melbourne 39-esima), osservano che la classifica ARWU, lungi dall’essere meritocratica, finisce per misurare la ricchezza delle istituzioni:

The 10 highest-ranked universities in the ARWU rankings are among the 20 wealthiest universities in the world. The highest-ranked 15 are all in the 40 most wealthy.
Or to look at it in another way, 25 of the world’s 40 richest universities are in the 50 highest-ranked universities.

Whichever way you look at the relationship between university rankings and money, the correlation is very strong. That’s hardly surprising but it’s worth reminding the government’s policy makers that while money counts, what counts is a level of investment beyond the reach of any Australian institution.

Top-ranked universities have more money than Australian unis could dream of

È davvero così? Per verificarlo, siamo andati a spulciare i bilanci delle squadre in gara e abbiamo costruito una classifica basata sui costi operativi: al primo posto chi spende di più e così via, fino all’ateneo più “povero”. Nella quarta colonna abbiamo riportato il PUB score, ovvero il numero di pubblicazioni normalizzato rispetto ad Harvard (il cui PUB score viene posto uguale a 100 per definizione). Dato che ARWU non fornisce direttamente questo numero, lo abbiamo ricavato tramite un semplice calcolo descritto nella Nota tecnica.

Si vede subito che le italiane stanno nella parte bassa della classifica dei costi (ed anche  del PUB score). La relazione tra costi e risultati è evidenziata nella seguente figura. I cerchi rossi sono i campioni nazionali e i cerchi blu sono gli atenei italiani.

È evidente che le squadre italiane vengono sconfitte sia dal punto di vista dei costi (nessuna italiana supera il miliardo di dollari) sia dal punto di vista delle pubblicazioni (nessun ateneo pubblica più del 30% di Harvard). Nella figura si nota anche un punto etichettato “BUM”, di cui parleremo più avanti.

In ogni caso, sia la tabella che la figura sono degne di riflessione. In termini di risorse, anche la più “ricca” delle italiane (Sapienza) è solo 13-esima. Un po’ come se il Chievo dovesse sfidare il Real Madrid.

La figura, però, evidenzia anche un altro aspetto interessante. Se è vero che per macinare dei chilometri bisogna mettere benzina nel serbatoio, a parità di spesa non tutte le automobili vanno ugualmente lontano. Nel nostro caso i chilometri sono i lavori scientifici e la benzina sono i soldi spesi daglia atenei. In paticolare, se prendiamo come riferimento Harvard (PUB =100, Costi = 4,7 MLD USD), la figura mostra che quasi tutti gli atenei della nostra Champions League battono Harvard in termini di chilometri-per-un-litro.

Per capire meglio, facciamo uno zoom e concentriamoci su Copenhagen (in basso a sinistra).

I danesi dovrebbero forse vergognarsi per il fatto che vengono superati da Harvard e Cambridge? Se pensiamo a come fanno fruttare i soldi spesi, la risposta è no. Infatti, fatta 100 la produttività di Harvard (numero di articoli su dollari spesi), quella di  Copenhagen si avvicina a 180, quasi il doppio. Nel grafico, gli atenei che hanno la stessa produttività di Harvard sono sulla retta nera etichettata 100, mentre ciascuna retta verde (meglio di Harvard, etichette >100) e gialla (peggio di Harvard, etichette <100) identifica un diverso valore di produttività. Per esempio, Copenhagen è collocata sulla retta verde etichettata 180, mentre Cambridge è a metà strada tra 100 (retta nera) e 120 (prima retta verde). Tutto ciò suggerisce che, invece di guardare la classifica ARWU o quelle dei suoi indicatori, come PUB, dovremmo confrontare il value-for-money, ovvero l’efficienza delle istituzioni.

A questo proposito, come se la cavano le italiane? Per vederlo, facciamo un altro zoom nella zona in basso a sinistra del grafico.

La prima cosa che salta all’occhio è che le università italiane sono tutte nella “zona verde”, quella delle istituzioni più efficienti di Harvard. Non solo, ma 12 atenei italiani su 15 hanno un’efficienza superiore a 150, una volta e mezza quella di Harvard. L’università statale di Milano (MI nel grafico) si prende persino il lusso di “doppiare” il campione statunitense con la sua efficienza superiore a 200. Insomma, con i (pochi) soldi a disposizione le italiane se la cavano niente male.

4. Chi vince la classifica del value-for-money?

Se la nostra ARWU League si giocasse proprio in base al value-for-money, chi la vincerebbe? Per saperlo basta dividere il PUB score per le Operating Expenses e vedere chi, a parità di costi, produce di più. Per facilitare la lettura dei risultati, normalizziamo il risultato in modo che l’Efficiency score di Harvard sia pari a 100. Ecco il risultato.

L’Italia fa cinquina. I primi cinque posti sono occupati da

1. Milano Statale
2. Ferrara
3. Pavia
4. Milano Bicocca
5. Padova.

Ma anche Trieste e Torino entrano nelle prime dieci. Un risultato che può apparire clamoroso solo a chi non conosce i numeri dei finanziamenti e della produzione scientifica.

Da sempre, l’università italiana è sottodimensionata e sottofinanziata (nelle statistiche OCSE siamo ormai penultimi per spesa in rapporto al PIL e ultimi come percentuale di laureati nella fascia 25-34 anni).  Tuttavia, a fronte di un impegno  finanziario modesto, la produttività è all’altezza se non migliore di quella delle altre nazioni. Qualche anno fa, il governo britannico aveva commissionato uno studio comparativo in cui era riportata la produttività dei sistemi universitari nazionali sia in termini di pubblicazioni che di citazioni ricevute. Il risultato, riassunto nella seguente figura, evidenziava l’ottimo posizionamento dell’università italiana.

Come mai, allora, gli atenei italiani non riescono mai ad emergere nelle classifiche internazionali degli atenei come ARWU (ma anche QS e Times Higher Education)? Chi ha letto il post fino a qui, sa già la risposta. Queste classifiche guardano solo ai risultati senza tenere conto delle risorse a disposizione.

Chi conosce questi numeri comprende subito quali scenari si aprono, quando sono le classifiche a governare il dibattito sul futuro dell’università:

Because few countries can afford the estimated EUR2 billion annually per institution required for a place among the world’s top 20 without sacrificing other policy objectives, many governments are questioning their commitment to ‘mass’ higher education and asking whether their institutions are elite or selective enough.

GLOBAL: Do rankings promote trickle down knowledge?

I numeri di questo post mostrano che l’Italia non entrerà mai nell’Olimpo delle top 100 senza destinare alcuni miliardi del Fondo di finanziamento ordinario alle presunte università “di serie A”. Ricordiamo che siamo già all’ultimo posto per laureati e che stiamo dismettendo il sistema universitario del Mezzogiorno. In questo contesto, destinare il 20-30% dell’FFO alla scalata dell’Olimpo dei Ranking significa accelerare un processo -già in atto- di dequalificazione culturale e civile che colpisce in modo diseguale le aree geografiche e gli strati sociali.

A meno che non si metta in pratica quanto illustrato nella prossima sezione, dove spiegheremo come sia possibile entrare immediatamente nella top 100 della classifica ARWU. E a costo zero, per di più.

5. Sogni di grandezza: nella top 100, subito e a costo zero

Si tratta del classico uovo di Colombo. Come ben noto agli esperti, la classifica ARWU tende a premiare le università di grandi dimensioni. Non a caso, la prima delle italiane è da sempre Roma Sapienza, il più grande ateneo italiano. Nella classifica value-for-money, abbiamo visto gli ottimi piazzamenti di Milano Statale, Milano Bicocca e anche di Pavia (a 25 minuti dalla Stazione centrale di Milano). L’idea è semplice: prendiamo questi tre atenei, aggiungiamoci pure il Politecnico di Milano, e creiamo una nuova Big University of Milan (BUM). Il bello è che, ai fini della scalata, non c’è bisogno di aggiungere nemmeno un euro ai finanziamenti già erogati.

Se tornate ai grafici precedenti, la BUM sarebbe la terza università al mondo per produzione scientifica, preceduta solo da Harvard e Toronto. In termini di pubblicazioni, produrrebbe il 10% in più di Cambridge (le pubblicazioni di BUM sarebbero il 55,1% di quelle di Harvard, mentre quelle di Cambridge sarebbero “solo” il 48,7%) ma spenderebbe il 25% in meno (i costi di BUM sono 1,5 MLD USD contro 2 MLD di Cambridge). Non solo, ma, inclusa nel costo ci sarebbe la didattica erogata a 158.000 studenti contro i 20.000 di Cambridge.

Va bene, sono risultati notevoli, ma chi è affezionato, quasi feticisticamente, alle classifiche, vorrà sapere se la BUM entrerà o meno nell’Olimpo di ARWU. I numeri delle pubblicazioni sono strepitosi, ma ci sono anche gli altri indicatori ed è dura competere con il numero di Premi Nobel che possono vantare altri atenei blasonati.

Ebbene, grazie a Domingo Docampo, che con un lavoro certosino ha ricostruito nel dettaglio le formule con cui viene confenzionata la classifica ARWU, siamo in grado di anticipare il punteggio che ARWU assegnerebbe alla BUM.

Oggi come oggi, la BUM otterrebbe 31.1 punti che la collocherebbero in 60-esima posizione, davanti a:

• University of California, Irvine,
• McGill University,
• Ecole Normale Superieure – Paris,
• Rice University,
• Swiss Federal Institute of Technology Lausanne,
• Purdue University – West Lafayette,
• Georgia Institute of Technology,
• Leiden University,
• Technion-Israel Institute of Technology.

Ma stiamo citando solo alcune delle università che verrebbero sorpassate dalla BUM.

Il solito trucco degli italiani che trovano il modo di fare i furbi? A dire il vero, non siamo i primi ad averci pensato. Ecco, cosa scrive BBC News.

Universities across Europe are talking about merging or forming alliances like never before.

Almost 100 mergers have taken place since the beginning of the century. The European University Association (EUA), representing universities in 47 countries, is mapping this changing landscape with an interactive merger map [https://www.university-mergers.eu/].

And the pace is accelerating, with eight super-universities or clusters identified in 2012; 12 in 2013 and 14 in 2014.

So what’s driving the merger mania?

Is it a way of climbing world university rankings by concentrating the best brains and resources to attract more students and bigger research grants?

Or is it a way of responding to funding cuts? […]

One of the biggest amalgamations, the Paris-Saclay “federal university”, includes the highly-ranked Ecole Polytechnique, the HEC business school and Universite Paris-Sud. This has the explicit aim of creating a institution which will be in the top 10 of global rankings. […]
Helsinki School of Economics, Helsinki University of Technology and the University of Arts and Design, Helsinki were merged, with the aim of turbo-charging Finland’s higher education system. […]

And the new bigger university climbed almost 50 places in this year’s QS rankings.

In particolare, i francesi procedono a grandi passi verso la creazione della Mega-Sorbonne.

6. Morale della favola

Anche alla luce delle reazioni suscitate dal nostro esercizio pedagogico del 2015, possiamo anticipare alcune delle obiezioni che verranno mosse.

Obiezione. Inutile arrampicarsi sugli specchi: cercare di mostrare che le università italiane sono meglio di Harvard è solo patetico.

Risposta. Nessuno dice che la Statale di Milano è meglio di Harvard esattamente come nessuno dice che è meglio ricevere in regalo una Panda piuttosto che una Lamborghini. Stiamo solo calcolando i “km per litro” e se devo spostarmi è più economica la Panda.

Obiezione. L’articolo sostiene che se le università italiane avessero lo stesso finanziamento di Harvard, diventerebbero le prime del mondo. Assurdo.

Risposta. Questo scenario controfattuale non è menzionato in nessuna parte dell’articolo (e solo un ingenuo  pensa che i risultati e la reputazione di un ateneo non abbiano forti determinanti storiche e geografiche). Semplicemente, non ha senso denigrare un utilitaria che ha percorso 100 Km con i soli 5 litri di benzina messi a disposizione, portando ad esempio una supercar che ha percorso 500 Km ma con un pieno da 50 litri. Soprattutto se posso percorrere 500 Km con una staffetta di 5 utilitarie che consumano ciascuna 5 litri.

Obiezione. Non ha senso misurare il valore di un’università con un solo numero, per di più legato alla sola ricerca, facendo finta che i soldi non servano anche alla didattica. E senza tener conto del fatto che i campi di ricerca influiscono sugli esiti bibliometrici, penalizzando in particolare gli studi umanistici.

Risposta. È ovvio che non ha senso, ma, per qualche ragione misteriosa, i fautori delle classifiche si accaniscono a crederci. Il senso dell’esercizio pedagogico è quello di stare al gioco e mostrare che, anche prestando fede a questa sorta di superstizione, le università italiane se la cavano bene.

Obiezione. Creare la Big University of Milan è una stupidaggine colossale. La fusione solo formale non migliora la ricerca e la didattica, creando invece un mega-ateneo ingovernabile o quasi.

Risposta. La BUM è ovviamente una stupidaggine. Se ci sono rettori che pongono nelle classifiche la loro stella polare, è utile portare questa ipotesi fino alle estreme conseguenze. La nostra è una dimostrazione per assurdo: se il risultato è una stupidaggine, vuol dire che l’ipotesi di partenza era sullo stesso livello. Noi lo sapevamo già, ma al Politecnico di Milano non lo sanno ancora.

Non crediamo e non abbiamo mai creduto nelle classifiche, che ci sembrano una forma di pseudoscienza che annebbia l’opinione pubblica. Purtroppo, quelle delle classifiche è una pseudoscienza tutt’altro che innocua perché la loro retorica offre supporto a politiche di concentrazione di risorse in poche istituzioni, anche a costo di danneggiare territori e fasce sociali. Un supporto solo apparente, in realtà, perché basterebbe tener conto dei costi sostenuti per ribaltare le gerarchie. L’auspicio è che questo  esercizio pedagogico sia un primo passo per diradare la superstizione e cominciare invece a leggere e interpretare i numeri che contano, soprattutto quelli del diritto allo studio.

Scheda tecnica

I dati relativi alla Classifica ARWU 2017 e al suo indicatore PUB (qui indicato come ARWU_PUB) sono presi dal sito https://www.shanghairanking.com/

Come osservato da Domingo Docampo (Reproducibility of the Shanghai academic ranking of world universities results, Scientometrics 2013), ARWU_PUB non è proporzionale al numero degli articoli ma alla sua radice quadrata. Per tale ragione, si è calcolato un indicatore PUB (sempre normalizzato tra 0 e 100), proporzionale al numero di pubblicazioni.

__________

Le linee continue rappresentano l’andamento medio (regressione lineare di PUB su Costi) per i Campioni nazionali (linea rossa) e per gli atenei italiani (linea blu). Si noti che la scelta di usare PUB è conservativa, in quanto l’efficienza degli atenei italiani sarebbe risultata ancora maggiore se fosse stata calcolata come ARWU_PUB/Costi, invece che come PUB/Costi.

I dati sui costi operativi sono stati desunti da bilanci, annual reports o documenti “facts and figures” disponibili sui siti web degli atenei. Nel caso in cui non fossero ricavabili dati affidabili per un ateneo, lo si è escluso a favore del primo ateneo della stessa nazione per cui fossero disponibili dati affidabili (questo è il caso di KU Leuven che è la seconda università belga ed è subentrata a Ghent). Se per una certa nazione non erano disponibili dati di bilancio affidabili per nessuno degli atenei nella top 100, la nazione è stata esclusa dalla ARWU League (questo è il caso di Francia, Arabia Saudita e Russia).