Un problema che tutti gli scienziati conoscono da tempo ma che apparentemente si sta aggravando è quello dei risultati scientifici non riproducibili. La scienza è, prima di tutto oggettiva: chiunque, purché sia in possesso della strumentazione e delle competenze adeguate, dovrebbe essere in grado di replicarne i risultati. In alcune aree però non è proprio così: molti risultati non si lasciano facilmente riprodurre. Ad esempio in uno studio condotto dai ricercatori dell’Amgen, una ditta che si occupa del trasferimento dei risultati di ricerche mediche alla pratica clinica, soltanto in 6 casi su 53 fu possibile riprodurre i risultati riportati in pubblicazioni scientifiche su possibili trattamenti antineoplastici; in uno studio analogo condotto alla Bayer il tasso di riproducibilità era del 20-25%.
In parte questo problema è intrinsecamente connesso ad alcune metodologie e alcuni campi di ricerca. Nella ricerca sanitaria, che è poi quella valutata dai laboratori dell’Amgen e della Bayer, l’efficacia di una terapia si basa sul confronto tra il tasso di esiti favorevoli (ad es. guarigioni entro una certa durata dalla diagnosi, percentuale di sopravvivenza entro un certo tempo, etc.) nel gruppo di controllo ed in quello che riceve il trattamento (con tutti i controlli del caso, placebo, randomizzazione, etc.). Non basta, ovviamente che il gruppo trattato abbia avuto esiti mediamente più favorevoli di quelli del gruppo di controllo: occorre anche che la differenza sia statisticamente significativa. Per accertarsi di questo si usano formule statistiche che stimano quanto sia probabile che il miglior risultato del gruppo trattato sia dovuto al caso. In genere si assume che se questa probabilità è inferiore all’1% (ma in alcuni casi anche solo al 5%), allora la differenza è merito del trattamento: ovvero che la differenza tra i gruppi trattato e di controllo è troppo grande per essere casuale.
Questa procedura comporta che alcuni risultati casuali siano erroneamente assegnati alla terapia: ad esempio se si studiano molte sostanze inattive e si considera positivo il risultato che ha probabilità minore o uguale all’1%, ci si aspetta che una sostanza su 100 sembri attiva per pure ragioni statistiche. Quando si cerca di replicare questi studi non ci si riesce perché il caso ci aiuta (o ci inganna) una volta sola, non due o più.
Se la statistica fosse l’unica ragione dei risultati non riproducibili, ci si aspetterebbe un tasso di riproducibilità degli studi molto elevato: dal 95% al 99%, a seconda della soglia di probabilità utilizzata dagli autori. Poiché il tasso di riproducibilità è molto inferiore, si deve ritenere che dietro i risultati non riproducibili ci siano anche fattori non statistici. A volte alcuni studi non sono riproducibili perché nei campioni di pazienti o nelle condizioni sperimentali erano presenti fattori non identificati ma rilevanti: ad esempio persone di una particolare etnia, reagenti o farmaci contaminati, etc. Altre volte il risultato pubblicato ma non ripetibile è il frutto di un errore o addirittura di una frode scientifica deliberata. Era probabilmente un errore il risultato di J. Benveniste sulla memoria dell’acqua, mentre era una frode scientifica lo studio di A. Wakefield che trovava una correlazione tra vaccino contro il morbillo e autismo.
Secondo una inchiesta recente della rivista The Economist le frodi scientifiche sarebbero in aumento: sono state addirittura individuate delle “ditte” specializzate nella produzione di falsi articoli scientifici. La diagnosi dell’Economist è interessante: troppa pressione sulla valutazione della ricerca e scarsi fondi incoraggerebbero i comportamenti disonesti. Secondo l’articolo i quattro paesi nei quali la ritrattazione degli articoli scientifici per frode è più frequente sarebbero Usa, Germania, Giappone e Cina, ma da questo fenomeno l’Italia non è immune e un caso clamoroso era scoppiato da noi nello scorso mese di settembre.
Andrea Bellelli
Professore Ordinario di Biochimica, Università di Roma La Sapienza
Scienza - 10 Gennaio 2014
Sperimentazioni: sulla riproducibilità dei risultati scientifici
Un problema che tutti gli scienziati conoscono da tempo ma che apparentemente si sta aggravando è quello dei risultati scientifici non riproducibili. La scienza è, prima di tutto oggettiva: chiunque, purché sia in possesso della strumentazione e delle competenze adeguate, dovrebbe essere in grado di replicarne i risultati. In alcune aree però non è proprio così: molti risultati non si lasciano facilmente riprodurre. Ad esempio in uno studio condotto dai ricercatori dell’Amgen, una ditta che si occupa del trasferimento dei risultati di ricerche mediche alla pratica clinica, soltanto in 6 casi su 53 fu possibile riprodurre i risultati riportati in pubblicazioni scientifiche su possibili trattamenti antineoplastici; in uno studio analogo condotto alla Bayer il tasso di riproducibilità era del 20-25%.
In parte questo problema è intrinsecamente connesso ad alcune metodologie e alcuni campi di ricerca. Nella ricerca sanitaria, che è poi quella valutata dai laboratori dell’Amgen e della Bayer, l’efficacia di una terapia si basa sul confronto tra il tasso di esiti favorevoli (ad es. guarigioni entro una certa durata dalla diagnosi, percentuale di sopravvivenza entro un certo tempo, etc.) nel gruppo di controllo ed in quello che riceve il trattamento (con tutti i controlli del caso, placebo, randomizzazione, etc.). Non basta, ovviamente che il gruppo trattato abbia avuto esiti mediamente più favorevoli di quelli del gruppo di controllo: occorre anche che la differenza sia statisticamente significativa. Per accertarsi di questo si usano formule statistiche che stimano quanto sia probabile che il miglior risultato del gruppo trattato sia dovuto al caso. In genere si assume che se questa probabilità è inferiore all’1% (ma in alcuni casi anche solo al 5%), allora la differenza è merito del trattamento: ovvero che la differenza tra i gruppi trattato e di controllo è troppo grande per essere casuale.
Questa procedura comporta che alcuni risultati casuali siano erroneamente assegnati alla terapia: ad esempio se si studiano molte sostanze inattive e si considera positivo il risultato che ha probabilità minore o uguale all’1%, ci si aspetta che una sostanza su 100 sembri attiva per pure ragioni statistiche. Quando si cerca di replicare questi studi non ci si riesce perché il caso ci aiuta (o ci inganna) una volta sola, non due o più.
Se la statistica fosse l’unica ragione dei risultati non riproducibili, ci si aspetterebbe un tasso di riproducibilità degli studi molto elevato: dal 95% al 99%, a seconda della soglia di probabilità utilizzata dagli autori. Poiché il tasso di riproducibilità è molto inferiore, si deve ritenere che dietro i risultati non riproducibili ci siano anche fattori non statistici. A volte alcuni studi non sono riproducibili perché nei campioni di pazienti o nelle condizioni sperimentali erano presenti fattori non identificati ma rilevanti: ad esempio persone di una particolare etnia, reagenti o farmaci contaminati, etc. Altre volte il risultato pubblicato ma non ripetibile è il frutto di un errore o addirittura di una frode scientifica deliberata. Era probabilmente un errore il risultato di J. Benveniste sulla memoria dell’acqua, mentre era una frode scientifica lo studio di A. Wakefield che trovava una correlazione tra vaccino contro il morbillo e autismo.
Secondo una inchiesta recente della rivista The Economist le frodi scientifiche sarebbero in aumento: sono state addirittura individuate delle “ditte” specializzate nella produzione di falsi articoli scientifici. La diagnosi dell’Economist è interessante: troppa pressione sulla valutazione della ricerca e scarsi fondi incoraggerebbero i comportamenti disonesti. Secondo l’articolo i quattro paesi nei quali la ritrattazione degli articoli scientifici per frode è più frequente sarebbero Usa, Germania, Giappone e Cina, ma da questo fenomeno l’Italia non è immune e un caso clamoroso era scoppiato da noi nello scorso mese di settembre.
Articolo Precedente
Sperimentazione animale, le contraddizioni di Sel: lettera di un ricercatore
Articolo Successivo
Il risveglio della sonda Rosetta: sbarcherà sulla cometa Churyumov-Gerasimenko
Gentile lettore, la pubblicazione dei commenti è sospesa dalle 20 alle 9, i commenti per ogni articolo saranno chiusi dopo 72 ore, il massimo di caratteri consentito per ogni messaggio è di 1.500 e ogni utente può postare al massimo 150 commenti alla settimana. Abbiamo deciso di impostare questi limiti per migliorare la qualità del dibattito. È necessario attenersi Termini e Condizioni di utilizzo del sito (in particolare punti 3 e 5): evitare gli insulti, le accuse senza fondamento e mantenersi in tema con la discussione. I commenti saranno pubblicati dopo essere stati letti e approvati, ad eccezione di quelli pubblicati dagli utenti in white list (vedere il punto 3 della nostra policy). Infine non è consentito accedere al servizio tramite account multipli. Vi preghiamo di segnalare eventuali problemi tecnici al nostro supporto tecnico La Redazione
Giustizia & Impunità
Delmastro condannato a otto mesi per il caso Cospito. Le opposizioni: “Si dimetta”. Ma Meloni lo blinda: “Sconcertata da sentenza”. Schlein: “Parole eversive”
Mondo
Israele, 5 bombe sui bus: “Esplose in anticipo, erano vuoti”. I sospetti sui battaglioni della Cisgiordania. Hamas espone bare degli ostaggi
Cronaca
Le condizioni di Papa Francesco in “lieve miglioramento”. Il cardinale Ravasi: ‘Dimissioni? Potrebbe farlo’
Roma, 20 feb. (Adnkronos) - "Tweet invecchiati male: un sottosegretario alla giustizia che attacca i magistrati che lo condannano. E la Meloni sta con lui. Dalla Repubblica delle Banane è tutto". Lo scrive Matteo Renzi sui social postando un tweet di Andrea Delmastro del 2015 in cui scriveva: "Renzi contro la magistratura. Esiste qualcosa che non sappia di berlusconismo con 20 anni di ritardo? #figliodiberlusconi".
Roma, 20 feb. (Adnkronos) - “Lo scontro tra i ministri Lollobrigida e Piantedosi sulla vicenda Bari conferma l’arroganza e lo scarso senso dello Stato di questa destra. Un esponente come Lollobrigida avrebbe preteso, fuori da ogni regola e ignorando il lavoro della Commissione di accesso, di imporre al Ministro dell’Interno lo scioglimento del Comune di Bari. Fin dall’inizio la destra si è comportata in questo modo, ma tutto ha dimostrato l’infondatezza di queste accuse e manovre, il lavoro importante contro le mafie svolto da sindaco De Caro e presidente Emiliano. Non può essere che un ministro come Lollobrigida si comporti in questo modo. Chiameremo il Governo a risponderne”. Così il capogruppo Pd in commissione Antimafia Walter Verini.
Roma, 20 feb. (Adnkronos) - "Il sottosegretario alla giustizia Delmastro, condannato a otto mesi di carcere per rivelazione di segreto d’ufficio e un anno di interdizione dai pubblici uffici, ha dichiarato di non volersi dimettere. È senza vergogna. Se ne vada e lo faccia il prima possibile. Le istituzioni sono una cosa seria, non la proprietà privata di qualcuno”. Così sui social Antonio Misiani della segreteria del Partito Democratico.
Milano, 20 feb. (Adnkronos) - I carabinieri hanno raccolto tutte le dichiarazioni rese dagli staff e direttamente dagli imprenditori contattati dal gruppo di truffatori che usando il nome del ministro della Difesa Guido Crosetto hanno tentato raggiri milionari. La banda ha contattato almeno una decina delle famiglie più note e ricche in Italia, tra cui Massimo Moratti (l'unica vittima che ha denunciato il raggiro subito), Marco Tronchetti Provera, esponenti delle famiglie Beretta, Del Vecchio, Caprotti e Della Valle, lo stilista Giorgio Armani.
Una volta sentiti dai militari non tutte le persone che hanno risposto alle telefonate del finto ministro o del sedicente generale hanno deciso di sporgere denuncia. La procura di Milano che indaga sulle truffe sta proseguendo il lavoro sul fronte internazionale, per capire i movimenti bancari del denaro recuperato, mentre restano due gli indagati stranieri per associazione per delinquere finalizzata.
Roma, 20 feb. (Adnkronos) - "Delmastro è sottosegretario alla Giustizia, la sua condanna è grave già solo per questo. In più questa condanna arriva perché ha usato i suoi attuali poteri di sottosegretario per manganellare l'opposizione in Parlamento rivelando informazioni che non potevano essere rivelate. C'è un evidente e gigantesco problema politico. Non può restare al suo posto, è inaccettabile". Così Anna Ascani, Vicepresidente della Camera e deputata dem, intervenendo a Metropolis.
Roma, 20 feb. (Adnkronos) - “Senza disciplina. Senza onore. Doveva dimettersi ben prima, a prescindere dalla condanna. Ogni minuto di permanenza in carica di Delmastro è un insulto alle istituzioni”. Così sui social Peppe Provenzano della segreteria del Partito Democratico.
Roma, 20 feb. (Adnkronos) - Il Presidente della Repubblica, Sergio Mattarella, ha ricevuto nel pomeriggio al Quirinale, in separate udienze, per la presentazione delle Lettere Credenziali, i nuovi Ambasciatori: S.E. Vladimir Karapetyan, Repubblica di Armenia; S.E. Roberto Balzaretti, Confederazione Svizzera; S.E. Francella Maureen Strickland, Stato Indipendente di Samoa; S.E. Amb. Matthew Wilson, Barbados; S.E. Augusto Artur António da Silva, Repubblica della Guinea Bissau; S.E. Noah Touray, Repubblica del Gambia; S.E. Richard Brown, Giamaica. Era presente il Vice Ministro degli Affari Esteri e della Cooperazione Internazionale, Edmondo Cirielli. Si legge in una nota del Quirinale.