Crisi di replica?

Come molti di voi potrebbero sapere, un recente sforzo di collaborazione ha tentato di replicare 100 studi che sono stati pubblicati su importanti riviste di psicologia. A seconda del criterio utilizzato, solo il 40% circa degli studi è stato replicato.

Ci sono stati un sacco di studiosi e giornalisti che commentano questi risultati e le loro implicazioni per la psicologia come scienza. Sono stati fatti molti suggerimenti che sono davvero passi positivi (ad esempio, l'utilizzo di campioni più grandi e una più ampia e completa segnalazione di dati, progettazione sperimentale e campioni). Ma voglio concentrarmi su un fattore che sembra non avere molta "airplay" sul perché questi effetti non si siano replicati più facilmente – la complessità della psicologia umana.

Complessità e dibattito sulla replica

Immagina qualsiasi tuo comportamento, o qualsiasi convinzione, o qualsiasi emozione provi. Immagina le cause di ognuna di quelle emozioni, credenze o comportamenti. Ora fai lo stesso, ma espandi questa ricerca alle persone intorno a te, quindi alle persone nel tuo paese. Quindi espandi tutto al mondo intero. Ora fallo quando le persone sono in gruppo invece che da sole. Ok, ora immagina di provare a prevedere questi vari aspetti degli altri mentre il mondo esterno al laboratorio cambia continuamente e influenza le persone. La mia ipotesi è che potresti inventare, facilmente, una vasta gamma di fattori che possono influenzare qualsiasi specifica istanza di comportamento, pensiero o sentimento umano.

Tuttavia, in generale, gli psicologi hanno tentato di concludere in esperimenti che 1 o 2 variabili possono predire emozioni, cognizione e comportamento umano. Per rendere le cose più problematiche, la maggior parte di questi studi è fatta usando studenti universitari, quasi interamente dall'Europa centrale e orientale, dal Nord America (bene, dal Canada e dagli Stati Uniti), o dall'Australia. È stata a lungo una grossolana semplificazione eccessiva di un essere complesso (l'umano!).

Quando si descrivono queste repliche fallite, sembra esserci un ethos di massa tra gli psicologi che gli effetti trovati nella ricerca passata dovrebbero verificarsi in modo simile su tutti i campioni, indipendentemente da ciò che accade nel mondo esterno e indipendentemente dalle caratteristiche specifiche del campione. Anche quando si utilizzano campioni universitari (come fa la maggior parte degli studi) negli studi originali e nelle repliche tentate, è un po 'miope presumere che ogni singolo campione in tutti gli stati risponderà allo stesso modo all'interno di uno studio psicologico. Quando si tentano repliche in paesi diversi rispetto allo studio originale, questo è ancora più enigmatico, anche escludendo problemi di comprensione del linguaggio (che non sono stati valutati negli attuali tentativi di replica).

Sappiamo dalla ricerca che dove vivono le persone predice orientamento politico, credenze religiose e una varietà di variabili di personalità. Ora, sappiamo anche che molti effetti negli esperimenti si verificano solo per le persone che sono, ad esempio, molto estroverse, o politicamente conservatrici, o che credono in Dio. E sappiamo che per il contatore di ciascuno di questi "gruppi" (persone introverse, politicamente liberali e ateo), non solo questi effetti non si verificano, ma possono verificarsi gli effetti opposti.

Ora, perché questa ricerca viene ignorata mi lascia perplessi mentre tentiamo di spiegare perché questi studi non sono riusciti a replicare. Se si presume che la maggior parte degli effetti psicologici siano moderati (che sembra una scommessa sicura per almeno gli studi di psicologia sociale inclusi nei tentativi di replica) da molti fattori, allora naturalmente si passa da un lato di un paese a un altro o da un paese all'altro paese, farà la differenza. Non tutti gli studenti universitari sono uguali, ovunque. E non tutti i mondi al di fuori del laboratorio si comportano esattamente allo stesso modo. (attraverso storia o cultura).

Se prendi un campione da uno stato conservativo, è molto probabile che risponda in modo un po 'diverso (se non opposto) a qualsiasi studio che coinvolga una variabile associata all'orientamento politico, e probabilmente anche a credenze religiose date le correlazioni tra queste due variabili . E sì, è vero che ci sarà un numero uguale di conservatori (probabilmente) in ogni condizione di un esperimento. Ma questo non significa che l'effetto non sarà dominato dalle persone conservatrici nel campione. E se hai più di questi individui, avrai maggiori probabilità di replicare l'effetto. (se non si misura l'orientamento politico come variabile di moderazione nelle analisi statistiche, è possibile ottenere un significativo effetto principale della manipolazione sulla variabile dipendente, ma ciò non significa che non si verifichi la moderazione). Se lo studio originale non misura questo moderatore (in questo caso, orientamento politico) o lo segnala e assume solo un effetto principale, allora se una replica viene eseguita utilizzando un campione che è inferiore su tale variabile di moderazione (in questo caso ha più persone liberali), l'effetto non è probabile che si ripeta.

In sostanza, questo fallimento della replica non sta mostrando (interamente) che gli effetti nella ricerca originale pubblicata non esistono. Quello che probabilmente sta dimostrando è che le cose sono molto più complesse di quelle che le rendiamo, e le caratteristiche del campione (e le situazioni che si verificano specificamente nella configurazione dell'esperimento, l'area al di fuori dell'impostazione e il mondo per quella materia ) conta davvero. Lo sappiamo a un certo livello, ma continua a essere ignorato nelle discussioni su questo progetto di replica. Forse perché le persone hanno un bisogno generale di struttura e semplicità, o perché desideriamo una comprensione chiara e forte delle persone, così possiamo chiaramente essere etichettati come una scienza. Ma a prescindere, bisogna davvero considerare che ciò che è in dubbio non è solo l'esistenza di questi effetti, ma anche la nostra comprensione dei processi psicologici e, in particolare, la nostra eccessiva semplificazione dei risultati nel passato. Nel desiderio di capire, ho il sospetto che semplifichiamo enormemente.

Mi congratulo con gli studiosi che hanno lavorato sodo per eseguire questo imponente sforzo di replica. L'immensa reazione che sta ottenendo sia all'interno che all'esterno della psicologia attesta la sua importanza. È cruciale per lo sviluppo del campo e per il successivo esito positivo che può avere sul mondo in generale, per fare del nostro meglio per migliorare molte delle nostre pratiche scientifiche. Ma è forse altrettanto importante combattere l'urgenza di semplificare eccessivamente il mondo sociale e psicologico, quando ciò potrebbe ostacolare l'accuratezza per cui ci battiamo.

Viviamo in un mondo di interazioni a 4-5 vie e stiamo fingendo di esistere in un mondo di effetti esclusivamente esclusivi (o al massimo, le interazioni a due vie).