Quanti modi ci sono per non rispondere a una domanda? Mi chiedevo questo, lo scorso giovedì, mentre assistevo al dibattito: Anvur e politiche di sistema: prospettive della valutazione e delle politiche del sistema ricerca. Il dibattito aveva come ospiti, tra gli altri, il Presidente dell’Anvur Fantoni, il Presidente del Cnr Nicolais, il Presidente della Crui Mancini, il ministro Profumo. Invitati ad aprire i lavori erano Alberto Baccini, Giorgio Sirilli, e Giuseppe De Nicolao, esperti di valutazione e animatori di Roars.
Inizia Baccini. L’Italia arriva alla valutazione circa trent’anni dopo l’Inghilterra, dice. È un paese ritardatario, e perciò avvantaggiato, può giovarsi delle esperienze accumulate all’estero. Eppure l’Italia è un caso anomalo. Rispetto ai 20 esercizi nazionali di valutazione analizzati da Diane Hicks (2009), è l’unico paese a non avere affidato la valutazione a una agenzia indipendente. L’Anvur è stata trasformata dalla Gelmini e Giavazzi in una executive agency del Miur. Ecco che la griglia di valutazione dei singoli prodotti è stata definita direttamente dal ministro, insieme ai punteggi e alle penalizzazioni, in una confusione di ruoli istituzionali unica al mondo.
Tralasciamo le sottigliezze, direbbero alcuni, l’importante è che la valutazione si faccia, non importa come. Però, tolte le sottigliezze i problemi restano. Ad esempio, questi 216.455 “prodotti”, la cui valutazione costa 300 milioni di euro, come verranno valutati? Supponiamo che valutare la ricerca sia come scalare un’alta vetta, suggerisce De Nicolao. Ebbene, i nostri valutatori per tre mesi hanno elaborato le tecniche di arrampicata migliori per salire in cima. C’è un problema, però. L’Anvur ha nominato 14 squadre di scalatori, una per ogni area scientifica, selezionandole non tra gli alpinisti, ma tra eccellenti campioni di nuoto sincronizzato e scherma. Insomma, i Gev (Gruppi di esperti della valutazione) non sono tanto esperti della valutazione, quanto esperti valutatori, dice Sirilli. Quasi nessuno si è mai occupato di progettare criteri di valutazione e di bibliometria. La confusione tra valutatori e progettisti dei criteri della valutazione ha fatto sì che dopo tre mesi ogni cordata abbia elaborato una propria inedita tecnica di arrampicata, per un totale di 14 bibliometrie fai-da-te, una per ogni area scientifica.
A questo punto supponiamo di voler fare i ranking delle riviste. Come si costruisce una classifica oggettiva? – chiede De Nicolao. Ci sono tanti metodi quante le cordate, anzi di più perché alcune cordate ne usano più di uno. Metodi semplici, tipo: “com’è il vino oste, è buono?” “Buono e giusto”, risponde l’oste, come in alcune aree umanistiche dove le classifiche sono il frutto di negoziazioni poco o nulla trasparenti. Ma anche le aree scientifiche hanno i loro problemi. Nell’Informatica, per esempio, si fa riferimento a un indicatore bibliometrico, a una classificazione australiana e a una italiana. Quale scegliere? Idea: facciamo la classifica bibliometrica e poi mediamola con le altre due classificazioni”. Fatta.
Supponiamo dunque che Coppi vinca la maglia rosa arrivando venti minuti prima del secondo nel tappone dolomitico. Il giorno dopo arriva decimo a tre secondi dal primo. Nella media dei ranking Coppi accumula 5,5: (1 + 10)/2. Il gregario che è arrivato quinto in tutte e due le tappe accumulerà cinque punti (5 + 5)/2 = 5. La maglia rosa passa al gregario, conclude De Nicolao. Che continua citando Thompson (1993), uno statistico statunitense che negli anni 90 ha tagliato la testa al toro sulla validità scientifica della media dei ranking: “l’unica ragione per usare la media dei ranking è l’ignoranza, e che una difesa dell’ignoranza sia praticabile resta tutto da discutere”.
A questo punto il buon senso direbbe di sospendere la Vqr (Valutazione della qualità della ricerca), rivederne i criteri, introdurre trasparenza nelle procedure adottate per la nomina dei Gev e nei criteri usati per la classificazione delle riviste, ridiscutere le regole mal disegnate dall’ex ministro. E invece come ha detto il responsabile della Vqr Sergio Benedetto: quando la valutazione sarà conclusa “tutte le università dovranno ripartire da zero” “e qualche sede dovrà essere chiusa”. Da questa valutazione in altre parole dipenderanno la ripartizione del Fondo di finanziamento ordinario all’università e il ripensamento dell’intero sistema di ricerca italiano.
Il lettore si chiederà, cosa hanno detto gli ospiti? Non molto. Subito interpellato, il ministro Profumo ha ceduto la parola al presidente dell’Anvur Fantoni. Fantoni ha detto che tutte le critiche sono errate e l’Anvur lo dimostrerà. Il resto del dibattito somigliava a una variegata sfilata di tecniche d’evasione narrativa: chi fraintende, chi fa il convincente su qualche cosa che non c’entra nulla, e poi la strategia dello sfinimento: stordiscili e stremali tutti.
A fine giornata l’unica cosa certa era l’esistenza di un inaccettabile gap tra la concretezza delle critiche e la vaghezza delle risposte. In quel clima Profumo ha chiuso così: questa Vqr è una sperimentazione, ha detto. Ci serve come “una fotografia interna”, che consente di dire “dove siamo”, “così possiamo migliorare perché ci conosciamo”, “sempre in senso positivo”. Una sperimentazione, dunque. In che senso, ministro: un progetto da implementare responsabilmente o un abracadabra sul sistema di ricerca italiano?