Sperimentazioni: sulla riproducibilità dei risultati scientifici

Un problema che tutti gli scienziati conoscono da tempo ma che apparentemente si sta aggravando è quello dei risultati scientifici non riproducibili. La scienza è, prima di tutto oggettiva: chiunque, purché sia in possesso della strumentazione e delle competenze adeguate, dovrebbe essere  in grado di replicarne i risultati. In alcune aree però non è proprio così: molti risultati non si lasciano facilmente riprodurre. Ad esempio in uno studio condotto dai ricercatori dell’Amgen, una ditta che si occupa del trasferimento dei risultati di ricerche mediche alla pratica clinica, soltanto in 6 casi su 53 fu possibile riprodurre i risultati riportati in pubblicazioni scientifiche su possibili trattamenti antineoplastici; in uno studio analogo condotto alla Bayer il tasso di riproducibilità era del 20-25%.

In parte questo problema è intrinsecamente connesso ad alcune metodologie e alcuni campi di ricerca. Nella ricerca sanitaria, che è poi quella valutata dai laboratori dell’Amgen e della Bayer, l’efficacia di una terapia si basa sul confronto tra il tasso di esiti favorevoli (ad es. guarigioni entro una certa durata dalla diagnosi, percentuale di sopravvivenza entro un certo tempo, etc.) nel gruppo di controllo ed in quello che riceve il trattamento (con tutti i controlli del caso, placebo, randomizzazione, etc.). Non basta, ovviamente che il gruppo trattato abbia avuto esiti mediamente più favorevoli di quelli del gruppo di controllo: occorre anche che la differenza sia statisticamente significativa.  Per accertarsi di questo si usano formule statistiche che stimano quanto sia probabile che il miglior risultato del gruppo trattato sia dovuto al caso. In genere si assume che se questa probabilità è inferiore all’1% (ma in alcuni casi anche solo al 5%), allora la differenza è merito del trattamento: ovvero che la differenza tra i gruppi trattato e di controllo è troppo grande per essere casuale.

Questa procedura comporta che alcuni risultati casuali siano erroneamente assegnati alla terapia: ad esempio se si studiano molte sostanze inattive e si considera positivo il risultato che ha probabilità minore o uguale all’1%, ci si aspetta che una sostanza su 100 sembri attiva per pure ragioni statistiche. Quando si cerca di replicare questi studi non ci si riesce perché il caso ci aiuta (o ci inganna) una volta sola, non due o più.

Se la statistica fosse l’unica ragione dei risultati non riproducibili, ci si aspetterebbe un tasso di riproducibilità degli studi molto elevato: dal 95% al 99%, a seconda della soglia di probabilità utilizzata dagli autori. Poiché il tasso di riproducibilità è molto inferiore, si deve ritenere che dietro i risultati non riproducibili ci siano anche fattori non statistici. A volte alcuni studi non sono riproducibili perché nei campioni di pazienti o nelle condizioni sperimentali erano presenti fattori non identificati ma rilevanti: ad esempio persone di una particolare etnia, reagenti o farmaci contaminati, etc. Altre volte il risultato pubblicato ma non ripetibile è il frutto di un errore o addirittura di una frode scientifica deliberata. Era probabilmente un errore il risultato di J. Benveniste sulla memoria dell’acqua, mentre era una frode scientifica lo studio di A. Wakefield che trovava una correlazione tra vaccino contro il morbillo e autismo.

Secondo una inchiesta recente della rivista The Economist le frodi scientifiche sarebbero in aumento: sono state addirittura individuate delle “ditte” specializzate nella produzione di falsi articoli scientifici. La diagnosi dell’Economist è interessante: troppa pressione sulla valutazione della ricerca e scarsi fondi incoraggerebbero i comportamenti disonesti. Secondo l’articolo i quattro paesi nei quali la ritrattazione degli articoli scientifici per frode è più frequente sarebbero Usa, Germania, Giappone e Cina, ma da questo fenomeno l’Italia non è immune e un caso clamoroso era scoppiato da noi nello scorso mese di settembre.