Circa due terzi dei risultati psicologici si tengono nelle principali riviste

Gli studi nei punti vendita di alto livello non sono esenti da preoccupazioni sulla riproducibilità.

VikiVector/Shutterstock

Fonte: VikiVector / Shutterstock

Un team di scienziati che ha cercato di ripetere 21 risultati di psicologia sperimentale pubblicati nelle rinomate riviste Science and Nature sono riusciti a replicarne 13.

La psicologia è stata in preda a un movimento per riconoscere e riformare le pratiche problematiche che portano a risultati inaffidabili. Le intuizioni provenienti anche dalle riviste più apprezzate non sono immuni da questi ostacoli, dimostrando l’importanza di continuare a implementare politiche che rendano più affidabili le nuove scoperte scientifiche.

“Faremo tutto il possibile per ottenere risultati sorprendenti e sorprendenti. Questa non è una brutta cosa per la scienza, perché è così che la scienza rompe i confini “, ha detto Brian Nosek, autore principale dello studio e professore di psicologia all’Università della Virginia. “La chiave sta riconoscendo e abbracciando l’incertezza di ciò, ed è OK se alcuni si rivelano sbagliati.” Quello che mostrano gli ultimi test, ha spiegato in una conferenza Web la settimana scorsa, “è che possiamo ottenere molto più efficienza a identificando false piste piuttosto che averle perseverate perché non ci siamo mai presi la briga di replicarle in primo luogo. ”

Un team internazionale di scienziati ha esaminato ogni documento di scienze sociali pubblicato su Science and Nature tra il 2010 e il 2015. Hanno pianificato di replicare un sottoinsieme di studi che includevano un intervento sperimentale, generato un risultato significativo e sono stati eseguiti su un gruppo di partecipanti.

Il team ha ricreato il disegno sperimentale il più vicino possibile e ha lavorato con gli autori originali per farlo. Hanno anche registrato il protocollo di studio, la progettazione e l’analisi su Open Science Framework, un sistema progettato per aumentare l’affidabilità e la trasparenza nella scienza. Hanno condotto ogni studio con cinque volte più persone rispetto all’originale in modo che l’indagine sarebbe particolarmente sensibile alla rilevazione di qualsiasi effetto sperimentale.

Il team ha replicato con successo 13 dei risultati dello studio, ovvero il 62%. I restanti otto studi non sono riusciti a replicare. Le precedenti iniziative di replica hanno prodotto una serie di risultati e il team stima che il tasso di riproducibilità della psicologia si collochi attualmente tra il 35% e il 75%. Gli scienziati hanno anche scoperto che la forza degli effetti sperimentali era circa la metà di quello che erano negli studi originali. I risultati sono stati pubblicati oggi sulla rivista Nature Human Behaviour.

Molti pezzi hanno contribuito ai problemi con la replica. Gli scienziati hanno tipicamente flessibilità nel modo in cui analizzano i dati sperimentali e, provando approcci diversi, possono consapevolmente o inconsciamente spostare le scoperte verso la soglia per rilevanza statistica. I ricercatori possono anche modificare un’ipotesi dopo aver visto i risultati, il che ha l’effetto di intrecciare qualsiasi risultato significativo trovato in una narrazione avvincente. Non sono tenuti a rendere disponibili i propri dati, il che può portare a comportamenti discutibili da non controllare. Forse la cosa più importante, gli scienziati e gli editori di riviste sono incentivati ​​a pubblicare il maggior numero di nuovi, appariscenti reperti possibili, piuttosto che replicare i risultati precedenti per garantire l’affidabilità.

Questi elementi portano a nuovi risultati e gli effetti forti vengono segnalati ad un tasso fuorviante. Ciò è dimostrato dal fatto che negli studi replicati la dimensione media degli effetti era pari alla metà di quanto non fosse in origine. “Questo è un tema molto coerente nella replica”, ha detto Sanjay Srivastava, professore di psicologia all’Università dell’Oregon, che non è stato coinvolto nella ricerca. “Se gli studi a volte superano ea volte undershoot, allora dovrebbe essere 50/50. Ma non è affatto così. ”

Il team ha anche messo a punto un esperimento per vedere se gli psicologi potrebbero rilevare risultati solidi e rigorosi. Un gruppo di 200 ricercatori ha scommesso su quali studi avrebbero o non avrebbero regalato all’esame. La probabilità che uno studio si replichi correttamente ha previsto l’esito di 18 dei 21 studi.

“Come comunità, non ci imbattiamo completamente nell’oscurità quando si tratta di ciò che sta per replicare”, ha detto Will Gervais, professore associato di psicologia presso l’Università del Kentucky, nella conferenza web. “Potresti potenzialmente addestrare i revisori dei pari a cercare i modelli su cui le persone stanno prendendo piede. In questo modo speriamo di poter eliminare alcuni di questi falsi positivi prima che inquinino la letteratura. ”

Gervais è autore di uno degli studi che non è riuscito a replicare. Il documento è stato pubblicato su Science nel 2012 e ha dimostrato che il pensiero analitico sopprimeva la fede nella religione. A quel tempo, le preoccupazioni sul rafforzamento della credibilità non avevano ancora permeato il campo. Ora riconosce che l’esperimento è stato abbastanza debole e non ha regalato così come altre idee nel corso della sua carriera.

“Il nostro studio, a ben vedere, era assolutamente sciocco. E ‘stato un piccolissimo [numero di partecipanti] e solo poco significativo tipo di parità per il corso, prima che iniziassimo a prendere sul serio la replicabilità “, ha detto Gervais. “Una delle cose migliori che emerge dall’intero movimento di replicabilità è che spinge i revisori e gli editori a essere più esperti su ciò che dovremmo pubblicare e approvare in primo luogo.”

Il campo ha fatto molta strada per rafforzare la credibilità della nuova ricerca. Le soluzioni includono test di esperimenti su un numero maggiore di persone, creando una soglia più severa per la significatività statistica, rendendo i dati disponibili al pubblico, continuando gli sforzi di replicazione e pubblicando preliminarmente il piano per uno studio prima di eseguirlo, il che limita il tipo di flessibilità del ricercatore che porta a false positivi. L’Open Science Framework è stato creato nel 2012 e ora include registrazioni di oltre 20.000 studi, secondo Nosek, che è direttore esecutivo del Center for Open Science. Il tasso è raddoppiato ogni anno dalla sua creazione.

“Questo studio è davvero una buona motivazione per continuare a premere sulle riviste per aggiornare le loro politiche e per cambiare gli incentivi, così gli scienziati saranno premiati per più di queste pratiche”, ha detto Srivastava. “È come spingere la tua auto quando è in stallo. La macchina è in movimento, ma devi continuare a spingere, altrimenti si fermerà “.