Una guida rapida alla crisi della replica in psicologia

Lo studio:

Brian Nosek e la collaborazione Open Science:

Abbiamo condotto repliche di 100 studi sperimentali e correlazionali pubblicati su tre riviste di psicologia utilizzando disegni ad alta potenza e materiali originali quando disponibili. [Articolo di scienza qui.]

Le scoperte:

• 10 cose mai da fare quando sei maniaco
• Ti amo, uomo: lezioni di amicizia
• Dipendenza da pronostici
• L'introverso nel luogo di lavoro: come massimizzare la produttività
• Meglio di Dope: Natural Highs the Cutting Edge of Mood Alteration

1. Solo il 36% delle repliche era "riuscito" (cioè produceva valori p <.05).
2. La dimensione media dell'effetto delle repliche era circa la metà di quella degli studi originali.
3. I risultati più deboli e più sorprendenti erano meno probabili da replicare.
4. I risultati della psicologia sociale erano meno della metà delle probabilità di replicarsi come scoperte nella psicologia cognitiva.
5. Gli effetti principali erano più propensi a replicare rispetto agli effetti di interazione.

Alcuni dei risultati che non sono stati replicati …

• Le persone hanno maggiori probabilità di imbrogliare dopo aver letto un passaggio che li informa che le loro azioni sono determinate e quindi che non hanno il libero arbitrio.
• Le persone emettono sentenze morali meno severe quando si sono appena lavate le mani.
• Le donne associate sono più attratte dagli uomini single quando stanno ovulando (quando le donne stanno ovulando, cioè). [Vedi qui, qui.]

Qual è il problema?

Il tasso di replica è preoccupante. L'epidemiologo John Ioannidis ha stimato che circa il 50% dei risultati pubblicati sono falsi, almeno in medicina, quindi questo risultato è peggiore di quanto si aspettasse.

• "Papà, mamma, DEVI bere quel vino per sentirti bene?"
• Quando avvicinarsi equivale a farsi male, prima parte
• Come far fronte alla rabbia
• 10 lezioni di umorismo essenziale
• Perché gli adolescenti sani muoiono

E il tasso di replica effettivo potrebbe essere addirittura inferiore al 36%. Tutti gli studi sono stati presi da tre riviste di psicologia di alto livello. Chissà qual'è il tasso di successo potrebbe essere più in basso sul totem, nelle riviste di basso rango?

Prendendo per scontato, lo studio di Nosek suggerisce che ogni dato dato in psicologia è più probabile che sia finzione che realtà. Se stai studiando psicologia, molto di ciò che ti viene insegnato è falso. E se insegni alla psicologia, stai potenzialmente dedicando una grossa fetta della tua vita alla diffusione di falsità. Questo é un problema.

Le risposte:

"Un tasso di replicazione del 36% non è in realtà troppo cattivo."

Sanjay Srivastava:

La scienza deve coinvolgere i rischi e spingere le frontiere, quindi anche una scienza ottimale genererà falsi positivi. Se il 36% delle repliche sta ottenendo risultati statisticamente significativi, non è affatto chiaro quale dovrebbe essere quel numero. [Di Più]

Verdetto : in disaccordo.

Innanzitutto, l'elevato tasso di falsi positivi non è dovuto solo all'assunzione di rischi intellettuali. Ciò vale anche per campioni di dimensioni ridotte, p- crick, il fenomeno del file-drawer, bias di pubblicazione e, in alcuni casi, per la completa produzione di dati.

Inoltre, anche se nessuna di queste cose fosse un problema, il tasso di replica sarebbe ancora preoccupante, dato che raramente le repliche sono tentate o pubblicate in psicologia . Un tasso di replicazione del 36% potrebbe andar bene se prestassimo più attenzione a sradicare i falsi positivi dalla letteratura – ma non lo facciamo, quindi non lo è.

"Non è solo psicologia!"

Verdetto : accetto. Alcuni campi stanno facendo meglio della psicologia, senza dubbio – ma alcuni stanno peggiorando. [Vedi, ad esempio, qui]

"Non è tutto di psicologia. Alcune aree sono peggiori di altre. "

Verdetto : accetto. [Vedi, ad esempio, qui.]

Vern Quinsey:

Mi piace questo progetto ma non mi piace il modo parrocchiale di comunicare i risultati. In primo luogo, i risultati tendono ad essere presentati come se fossero rappresentativi della psicologia – non lo sono. Ad esempio, la psicofisica e la memoria sono sottorappresentate. Ancora più importante, molta psicologia non utilizza la sperimentazione in laboratorio: i dati vengono raccolti da fonti di archiviazione. In alcune di queste aree, le osservazioni importanti sono state replicate centinaia di volte (ad esempio, si pensi alla correlazione età-crimine). In secondo luogo, le tecniche di meta-analisi che sono state espressamente progettate per affrontare i problemi di replicabilità e sono ora altamente sofisticate sono totalmente ignorate.

Alcuni tweet rilevanti:

[Nota: "beh genetic" = "genetica comportamentale." Lo studio a cui Brian si è collegato è qui.]

"Non c'è crisi: l'individuazione e il rifiuto di risultati falsi è solo una parte della scienza. La psicologia sta andando bene. "

Lisa Feldman Barrett:

la mancata replica non è motivo di allarme; in effetti, è una parte normale di come funziona la scienza … Supponiamo di avere due studi ben disegnati e ben gestiti, A e B, che indagano lo stesso fenomeno. Eseguono quelli che sembrano esperimenti identici, eppure raggiungono conclusioni opposte. Lo studio A produce il fenomeno previsto, mentre lo studio B no. Abbiamo una mancata replica.

Ciò significa che il fenomeno in questione è necessariamente illusorio? Assolutamente no. Se gli studi sono stati ben progettati ed eseguiti, è più probabile che il fenomeno dello studio A sia vero solo a determinate condizioni. Il compito dello scienziato ora è capire quali sono queste condizioni, al fine di formulare nuove e migliori ipotesi da testare. [Di Più]

Verdetto : in disaccordo.

Ed Yong:

Tanto per cominciare, come ha notato su Twitter Dorothy Bishop dell'Università di Oxford, "solleva [la domanda] su quanto seriamente prendere le scoperte che dipendono così precisamente dalle condizioni". In altre parole, se i risultati sono delicati fiori appassiti che Fioriscono solo sotto la cura di alcuni sperimentatori, quanto sono rilevanti per il mondo disordinato, rumoroso e caotico fuori dal laboratorio? [Di Più]

Oltre a ciò, i ricercatori si sono impegnati a replicare gli studi nel modo più preciso possibile, il che avrebbe dovuto eliminare qualsiasi effetto di contesto significativo.

"OK, la notizia non è eccezionale. Ma se guardiamo i risultati attraverso un obiettivo bayesiano, sono un po 'meno tristi di quanto non appaiano prima … "

Verdetto : accetto. Prendendo un approccio bayesiano, Alex Etz ha descritto il risultato dello studio in questo modo:

• Successi di replica efficaci: ≈25%
• Successi di replica moderati: ≈10%
• Inconcludente: ≈30%
• Errori di replica moderati: ≈20%
• Strong Replication Failures: ≈20% [Altro]

L'ultima parola

Per essere chiari, nulla di tutto questo implica che la psicologia non sia valida come scienza, o che sia un campo di indagine unicamente imperfetto. Stiamo facendo progressi e questa ricerca è parte di questo. Abbiamo appena finito di andare più di quanto pensassimo la maggior parte di noi!

—————————-

Grazie al collega blogger Robert King per stimolare la discussione su questi temi.

Per più dello stesso solo diverso, seguimi su Twitter.