Lavoce.info: Valutazioni che non danno risposte

Soprattutto, non si risponde al bisogno delle famiglie di conoscere quale sia la "qualita'" dei diversi istituti, prima di iscrivervi i propri figli.

Il tema della valutazione delle scuole, sollevato dalla cosiddetta direttiva "Invalsi" del ministro della Pubblica istruzione del 25 agosto, ha riproposto un problema endemico nel caso italiano, in particolare con riferimento alla pubblica amministrazione: la carenza di dati valutativi sull’attività svolta.

Dal campione all’intero sistema

A livello internazionale esistono indagini campionarie che misurano il livello di apprendimento degli studenti, costruite con metodologie rigorose nella selezione dei campioni, nello svolgimento delle prove e nella costruzione degli indicatori relativi alla performance degli studenti. Basti citare i nomi delle indagini Pirls, Timms, Pisa. Tuttavia, queste indagini sono finalizzate al confronto internazionale, e non all’interno dei paesi stessi. La dimensione dei campioni è normalmente adeguata allo scopo, e non supera qualche migliaio di casi. Diversi paesi hanno poi le rilevazioni nazionali, spesso sull’intera popolazione scolastica, che permettono di estendere la valutazione a un livello più basso, arrivando in alcuni casi alla definizione di punteggi relativi alla performance della singola scuola.
Il caso italiano è invece atipico. Il nostro paese ha partecipato a molte indagini comparative nell’ultimo decennio, e nel contempo l’ Invalsi ha tentato di costruire un complesso di prove valutative esteso all’intero sistema scolastico, inizialmente denominandoli "progetti pilota" e ora "valutazione del sistema scolastico nazionale". Esistono tuttavia forti motivi di insoddisfazione nei confronti della significatività di queste prove, come emerge per esempio dal confronto dei risultati dell’indagine Pisa (relativa agli studenti quindicenni) con la valutazione nazionale delle classi prima e terza delle scuole superiori.
L’ indagine Pisa condotta in ambito Ocse con cadenza triennale (fino ad oggi nel 2000, nel 2003 e nel 2006) riguarda un campione rappresentativo della popolazione studentesca quindicenne. L’ultima per la quale sono disponibili i dati (liberamente scaricabili dal sito www.pisa.oecd.org) ha riguardato 11.639 studenti quindicenni, di cui 11 in seconda media, 63 in terza media (evidentemente pluribocciati), 1.775 in prima superiore (presumibilmente in massima parte ripetenti o "riorientati"), 9.562 in seconda superiore e 228 in terza superiore (i cosiddetti "anticipi").
Poiché è plausibile auspicare che la valutazione della qualità della formazione non sia influenzata dalle diverse politiche di selezione (anche perché non vorremmo indurre l’incentivo distorto di promuovere tutti), ci possiamo concentrare sugli studenti appartenenti alla classe modale, ovverosia ai 9.562 iscritti alla seconda classe di 381 scuole secondarie del secondo ciclo, distribuite su ottanta province italiane: una media di 4,7 istituti per provincia. Se si considera che per lo stesso anno scolastico 2002-03 gli istituti d’istruzione superiore statali erano 4.876 (a cui andrebbero aggiunti gli istituti privati) ci si accorge subito di come questa valutazione non possa che essere presa con molta cautela quando si scende al di sotto del livello nazionale.
Più ampio è invece il campione delle scuole partecipanti alla rilevazione promossa annualmente dall’ Invalsi per la valutazione del sistema scolastico. (1)
Si tratta di una valutazione condotta nelle classi seconde e quarte nella scuola primaria, seconde nella scuola secondaria del primo ciclo e nelle classi prime e terze della scuola secondaria del secondo ciclo. Per quanto riguarda le scuole secondarie del secondo ciclo, risultano rilevati 1.728 istituti e circa 200mila studenti (222.498 nella rilevazione sul primo anno e 182.816 nella rilevazione sul terzo anno), con un campione nettamente più ampio. Tuttavia, a differenza dell’indagine Pisa in cui il campione è scelto rigorosamente in modo da essere rappresentativo della situazione nazionale, con precisi standard in termini di tassi di risposta minimi e di rimpiazzo in caso di assenza, il campione Invalsi è (almeno nel caso dell’istruzione secondaria di secondo ciclo) a partecipazione volontaria, con regole meno rigorose in merito alla presenza/assenza di studenti scadenti durante la somministrazione della prova.

Due valutazioni, due graduatorie

Se le due valutazioni rilevassero competenze analoghe, con procedure validate e validabili, ci aspetteremmo che l’ordinamento delle scuole che se ne ottiene sia confrontabile. Tuttavia, se osserviamo la tabella seguente (che riporta su base regionale quello che la figura ripete su base provinciale) notiamo che le due rilevazioni forniscono graduatorie molto diverse.
Utilizzando come base di analisi le medie provinciali di ciascuna rilevazione (essendo questo il livello di disaggregazione dei dati più fine a cui siamo riusciti ad accedere), riscontriamo sì una associazione di segno positivo, ma di entità molto bassa (0.41) rispetto a quanto ci saremmo aspettati. Paradossalmente la correlazione dei dati provinciali è maggiore tra l’indagine Pisa e la rilevazione rispetto alla classe seconde del primo ciclo della scuola secondaria (0.58).
Certo ci sono molte differenze: si tratta di rilevazioni condotte in anni diversi (2003 per Pisa, 2006 per Invalsi) su studenti in classi diverse (seconda superiore per Pisa, prima superiore per Invalsi, ma i risultati sono molto simili anche se si considera la terza superiore per Invalsi), con regole di selezione diverse (nel campione Pisa abbiamo escluso studenti in ritardo o in anticipo, nel campione Invalsi sono presenti tutti gli studenti partecipanti). Tuttavia, se la qualità di una scuola è data dal patrimonio acquisito di competenze del corpo docente, non ci aspettiamo che cambi nel tempo molto velocemente. Stupisce allora in particolare osservare che i divari territoriali nei risultati, che rappresentano uno degli interrogativi più macroscopici all’efficacia del sistema scolastico italiano, tendano a scomparire nell’indagine Invalsi (vedi tabella che riporta i punteggi relativi all’area matematica – risultati analoghi per l’area letteraria o per quella scientifica).