Sottolineo in The Folly of Fools che la scienza è naturalmente autocorrettiva: richiede che gli esperimenti, la raccolta dei dati e le modalità di analisi siano completamente espliciti, meglio essere replicati e quindi verificati o falsificati, ma in cui sono coinvolti gli umani o il comportamento sociale la tentazione di un progresso rapido e illegittimo è accelerata dall'apparente importanza dei risultati e dalla difficoltà di verificare la loro veridicità. Recentemente sono stati scoperti casi di frode deliberata nello studio della cognizione dei primati (Harvard), i benefici per la salute del resveratrolo (U Conn) e numerosi risultati della psicologia sociale (Tilburg U, Paesi Bassi). Dedicherò alcuni blog successivi ad altri aspetti della frode scientifica, ma inizierò qui con un'analisi molto intelligente delle frodi statistiche e della mancanza di condivisione dei dati nei documenti di psicologia pubblicati negli Stati Uniti. Questo e il lavoro correlato suggeriscono che il problema delle frodi nella scienza è molto più ampio di quanto possano suggerire alcuni casi di frode su larga scala intenzionale.
Wicherts e coautori hanno fatto uso di una caratteristica poco nota di tutti gli articoli pubblicati nelle oltre 50 riviste dell'American Psychological Association (APA) – gli autori di queste carte si impegnano per contratto a condividere i propri dati grezzi con chiunque ne faccia richiesta , per tentare la replica. Tuttavia, i lavori precedenti di questo stesso gruppo hanno dimostrato che per 141 articoli pubblicati su quattro principali riviste APA, il 73% degli scienziati non condivideva i dati quando richiesto. Poiché, come sottolineano, gli errori statistici sono sorprendentemente comuni e i resoconti dei risultati statistici a volte imprecisi e gli scienziati spesso motivati a prendere decisioni durante analisi statistiche che sono di parte nella loro direzione preferita, erano naturalmente curiosi di vedere se ci fosse qualsiasi connessione tra mancata segnalazione di dati e prove di pregiudizi statistici.
Qui è dove hanno ottenuto un risultato drammatico. Hanno limitato le loro ricerche a due delle quattro riviste i cui scienziati avevano una probabilità leggermente maggiore di condividere dati e la maggior parte dei loro studi erano simili nell'avere un progetto sperimentale. Questo ha dato loro 49 documenti. Di nuovo, la maggioranza non è riuscita a condividere alcun dato, comportandosi invece come una parodia di accademici. Tra quelli chiesti, il 27 percento non ha risposto alla richiesta (o due promemoria di follow-up) – primo, e migliore, linea di autodifesa, completo silenzio – il 25 percento ha promesso di condividere i dati ma non l'ha fatto dopo sei anni e Il 6% ha affermato che i dati erano andati persi o che non c'era il tempo di scrivere un libro dei codici. In breve, il 67% dei (presunti) scienziati ha evitato il primo requisito della scienza – tutto è esplicito e disponibile per l'ispezione da parte di altri.
C'era qualche pregiudizio in tutta questa non conformità? Certo che c'era. Le persone i cui risultati erano più vicini al limite fatale di p = 0.05 avevano meno probabilità di condividere i loro dati. Mano nella mano, erano più propensi a commettere errori statistici elementari a proprio favore. Ad esempio, per tutti e sette i documenti in cui le statistiche correttamente calcolate hanno reso i risultati non significativi (10 errori in totale), nessuno degli autori ha condiviso i dati. Ciò è coerente con i dati precedenti che dimostrano che gli autori hanno impiegato molto più tempo a rispondere alle domande quando l'incongruenza nei risultati riportati influenzava il significato dei risultati (dove le risposte senza condivisione dei dati!). Di un totale di 1148 test statistici nei 49 articoli, il 4% era errato basandosi solo sulle statistiche riassuntive degli scienziati e un pieno 96% di questi errori erano a favore degli scienziati. Gli autori direbbero che i loro risultati meritavano un "test a una coda" (più facile da ottenere) ma avevano già predisposto un test a una coda, così come lo hanno dimezzato, hanno creato un "test a metà della coda". Oppure hanno eseguito un test a una coda senza menzionare questo anche se un test a due code era appropriato. E così via. Il lavoro separato mostra che solo un terzo degli psicologi afferma di aver archiviato i propri dati, il resto rende la rianalisi impossibile quasi all'inizio! (Ho 44 anni di dati sulle lucertole "archiviati" – sii mio ospite.) È probabile che pratiche simili siano intrecciate con la diffusa riluttanza a condividere i dati in altre "scienze" dalla sociologia alla medicina. Ovviamente questa disfunzione statistica è presumibilmente solo la punta dell'iceberg, dal momento che nei dati e analisi non rivelati ci si aspetta ancora più errori.
La profondità del problema è stata magnificamente rivelata in un recente lavoro di Simmons e coautori. Il messaggio da portare a casa è (in parte) il titolo: "La flessibilità non divulgata nella raccolta e analisi dei dati consente di presentare qualcosa di significativo". E significano tutto. In un finto studio hanno corso su argomenti reali, sono riusciti a dimostrare che l'ascolto di un tipo di musica ha cambiato la data di nascita di una persona rispetto all'ascolto di un altro. Come hanno raggiunto questo risultato sorprendente e molto importante! Introducendo l'età di padre di ogni soggetto come una variabile fittizia destinata a "controllare la variazione dell'età di riferimento tra i partecipanti". Probabilmente lo stratagemma più comune ed efficace è continuare a raccogliere dati fino a quando un risultato è significativo, quindi fermarsi. Gli autori hanno un gran numero di "gradi di libertà" per quanto riguarda l'analisi e la presentazione dei dati, che offrono loro ampie opportunità – non per "massaggiare" i loro dati, come gli piace metterlo – ma per creare la verità dalla casualità.
Quindi ci sono buone notizie e cattive notizie. Il male è che esiste un'ampia libertà per l'inganno statisticamente significativo e un sacco di motivazione per produrre, e poi nasconderlo. Questo può funzionare a diversi gradi di coscienza. Allo stesso tempo, la scienza è auto-correggente, gli studi sopra citati sono buoni esempi. Avere una scienza della verità, specialmente per quanto riguarda la vita sociale umana, richiede una scienza delle falsità, comprese nuove metodologie per esporle.
Wicherts, JM, Bakker, M e Mlenar, D. 2011. La disponibilità a condividere i dati della ricerca è riconducibile alla forza delle prove e alla qualità della segnalazione dei risultati statistici. PLoS One: 6: 1-7.
Simmons, JP, Nelson, LD e Simonsohn, U. 2011. Psicologia falsa positiva: la flessibilità non divulgata nella raccolta e analisi dei dati consente di presentare qualcosa di così significativo. Psychological Science 22: 1359-1366.
