La Fondazione Giovanni Agnelli ha da poco lanciato sul mercato, con grande eco mediatica, il suo nuovo prodotto: Eduscopio, una classifica delle scuole secondarie superiori. L’operazione ripropone senza correzioni tutti i problemi già segnalati qualche anno fa. La variabile presa come metro di valutazione appare poco robusta e le correzioni statistiche appaiono statisticamente poco efficaci. A differenza di tutte le analoghe indagine sviluppate a livello internazionale, l'”effetto studente” non appare importante e non si riesce a capire se ciò sia dovuto alla povertà della base informativa o al metodo utilizzato. L'”effetto classe”, noto agli addetti ai lavori fin dagli anni Sessanta, è completamente trascurato. La Fondazione Agnelli dice di voler informare, ma in realtà vuole solo persuadere. Il feticismo, come sappiamo tutti, è una patologia. Lo è anche quello delle graduatorie. Fermiamo il contagio.
Come nella saga Guerre stellari di George Lucas, la Fondazione Giovanni Agnelli di Torino colpisce ancora e lancia sul mercato il suo nuovo prodotto, “Eduscopio”, ovvero la classifica dei migliori istituti di scuola media superiore d’Italia. L’operazione ha avuto grande eco mediatico, specialmente sui quotidiani. Si tratta di un altro caso di una pericolosa epidemia già segnalata su queste pagine (Del furore di fare graduatorie) ovvero la costruzione di graduatorie aventi come oggetto soprattutto le performance di enti pubblici, con l’obiettivo, esplicito o meno, di creare “gerarchie” tra istituzioni pubbliche, e di trasformare il settore in cui operano in un “quasi mercato” (Le Grand 2006)
In parte tale diffusione risponde alla sostanziale sfiducia che i cittadini hanno verso le Amministrazioni pubbliche, in parte (specialmente nel caso della scuola e dell’università) è figlia del provincialismo italiano che copia ciò che si fa nei paesi anglosassoni, senza accorgersi che la letteratura scientifica più accreditata ha messo in evidenza le aporie implicite negli esercizi di valutazione strettamente quantitativi (Harris 2011). Un esempio di questo furore è l’esercizio di valutazione delle scuole superiori effettuato dalla Fondazione Giovanni Agnelli.
L’operazione, sotto il profilo tecnico-razionale, presenta notevoli aporie, che trattiamo di seguito, le stesse già evidenziate nel nostro articolo di ROARS del 2012.
Proverò a sintetizzare quelle che considero le più rilevanti:
- la variabile presa come metro della valutazione è un indicatore di successo negli studi universitari al primo anno di corso, ottenuto come media ponderata (50% e 50%) di due indicatori: un indicatore di profitto (voto medio) e un indicatore di velocità (percentuale di crediti ottenuti su quelli ottenibili).In realtà profitto e velocità sono, di norma, inversamente correlati e la scelta “salomonica” della FGA nasconde il fatto che nella vita pratica ogni studente/famiglia sceglie la combinazione che meglio si adatta ai suoi progetti/possibilità;
- La FGA “corregge” il ranking delle scuole per tener conto dell’effetto “tipo di scuola” (licei, istituti tecnici, etc,); dell’effetto contesto territoriale (città/campagna), dell’effetto studenti (genere,tipo di famiglia, etc,). Il modo in cui vengono misurati questi effetti appare poco efficace sotto il profilo statistico, stante la bassissima quota di variabilità spiegata;
- tutti gli studi che hanno affrontato questo tema hanno messo in luce come “l’effetto studente” sia ampiamente prevalente. Nell’esercizio della FGA al contrario l’effetto studente non è molto importante, e, sinceramente, non si riesce a discernere dal testo del rapporto se ciò sia dovuto alla povertà della base informativa (Anagrafe Nazionale Studenti del MIUR) o al metodo utilizzato;
- il modello della FGA trascura l’”effetto classe” all’interno sia delle scuole che delle università; ovvero che, essendo la produzione di istruzione/educazione una produzione congiunta tra insegnanti e alunni/studenti, il miglioramento dei processi educativi è dato anche dall’interazione tra gli studenti. E’ un errore grave, purtroppo, anche perché è noto tra gli addetti ai lavori dalla fine degli anni Sessanta;
- lo studio non tiene conto della diversa scala delle scuole superiori.
Lord Kaldor scriveva negli anni Cinquanta che la pubblicità è informativa nella forma e persuasiva nell’intenzione. Lo stesso per Eduscopio: si dice di voler informare, ma in realtà si vuole persuadere.
Questa doppia natura (una palese e una ctonia) è comune a tutti gli esercizi di valutazione dei sistemi di istruzione, di qualsiasi livello, dalla scuola dell’infanzia all’università.
Per la Fondazione Agnelli (e per molti altri, in primis INVALSI e ANVUR) il mercato è in ultimo un feticcio, come scrisse Marx.
E il feticismo, come sappiamo tutti, è una patologia. Fermiamo il contagio.
Riferimenti bibliografici
Harris D. N. (2011), Value Added Measures and the Future of Education Accountability, Science, 33, 6044 (August), pp. 826-827.
Le Grand, Julian (2006) Motivation, agency, and public policy : of knights and knaves, pawns and queens Oxford University Press, Oxford, UK.
