Università, l’incomprensibile valutazione della ricerca

Si sono appena concluse e sono state pubblicate due valutazioni delle prestazioni delle Università: una è quella dell’Agenzia Nazionale di Valutazione dell’Università e della Ricerca italiana (Anvur); l’altra è quella del Center for World University Rankings. Non ce ne vogliano il Governo (passato) della Repubblica, l’ex ministro Gelmini, il Presidente dell’Anvur Fantoni e tutti gli altri validi colleghi dell’Anvur: la loro Valutazione della Qualità della Ricerca (Vqr), presentata nella relazione come una “relazione imparziale e rigorosa”, è un ignobile e tartufesco pasticcio all’italiana, strana miscela di pomposità, vaniloquio e vigliaccheria. Per contro la valutazione del Cwur è semplice, chiara e comprensibile.

Cominciamo dalla vigliaccheria e dal tartufismo, gli aspetti senza dubbio più fastidiosi: la relazione dell’Anvur è un insieme di documenti lunghissimi e di difficile lettura. La minuziosità del rapporto, certamente utile per lo specialista che voglia controllarne l’accuratezza, è un ostacolo per chi voglia vedere il risultato finale dell’operazione. La classifica delle Università e degli Enti di Ricerca è riportata in ordine alfabetico: ovvero se uno vuole sapere qual è la migliore università italiana deve scorrere l’elenco alfabetico cercando il punteggio più alto area per area! E’ difficile evitare l’impressione che il mescolamento di informazioni metodologiche e di risultati serva ad altro che a confondere il lettore e rendere complicata l’interpretazione. Per contro il rapporto del Cwur è semplicissimo: c’è una classifica in ordine di merito delle 100 università ritenute migliori al mondo, e chi vuole conoscere le informazioni metodologiche dettagliate se le può cercare.

I risultati della Vqr dell’Anvur sono come al solito per le operazioni nostrane, strani e non coerenti con quelli dell’agenzia internazionale: tra le prime 100 università del mondo il Cwr mette una sola italiana e questa è La Sapienza di Roma (al 62mo posto); per contro nella valutazione Anvur La Sapienza occupa, ad esempio, la 17ma Pos. Grad. Comp. in Italia per l’area 1, la 24ma per l’area 2, etc. Il lettore medio, che non ha speciali difficoltà ad interpretare la classifica Cwr, capisce solo che La Sapienza secondo l’Anvur sta dalle parti del 20mo posto sulle circa 60 università italiane valutate. Come mai la prima università italiana nella classifica Cwr fatica ad arrivare nel primo terzo della classifica nazionale dell’Anvur?

La risposta alla domanda precedente è: la classifica dipende dai parametri usati per la valutazione. Ad esempio in una gara di nuoto di solito vince il nuotatore più veloce. Se noi facciamo una gara di nuoto valutando lo stile, come si fa nei tuffi, otterremo una classifica diversa da quella del cronometro perché non c’è garanzia che il nuotatore più veloce sia anche quello che ha lo stile più elegante. I parametri della Vqr erano peggio che strani: ad ogni  ricercatore o docente in servizio era richiesto di presentare per la valutazione le 3 migliori pubblicazioni del periodo 2004-2010 ed era vietato a due ricercatori della stessa struttura presentare la stessa pubblicazione se erano co-autori (a ciascun ricercatore degli Enti di Ricerca erano richieste 6 pubblicazioni). Non importava se le 3 pubblicazioni presentate erano le uniche effettuate o se erano scelte tra 100; per contro il divieto di presentare due volte la stessa pubblicazione richiedeva alla struttura complicati calcoli per ottimizzare la scelta. Consegue che sono andate meglio le strutture che hanno scelto meglio i “prodotti” da sottoporre alla valutazione, piuttosto che quelle coi prodotti effettivamente migliori. Per contro il Cwr si è basato su informazioni reperite su banche dati, ed ha prodotto una classifica non viziata dalle scelte dei soggetti valutati.

Secondo il Consiglio Universitario Nazionale abbiamo scherzato: la Vqr dell’Anvur sarebbe un rating (valutazione) e non un ranking (classifica). Però la valutazione sarà usata per fare una classifica rilevante per stabilire una quota del Fondo di Finanziamento Ordinario: questo in alcuni casi determinerà la sopravvivenza o il fallimento di una università pubblica di questo paese.