La maggior parte dei risultati pubblicati sulla psicologia sociale sono falsi?

La psicologia sociale è in crisi perché nessuno sa più cosa credere. I journal sono ora riempiti con la replica di priming fallita dopo la replica di priming fallita. (Per i lettori laici, il priming si riferisce all'idea che se fai qualche idea, concetto, credenza, attitudine o valore in qualche modo saliente, può influenzare in modo pervasivo le tue percezioni e comportamenti successivi in ​​modi che sono completamente al di fuori della tua consapevolezza – riferito a come "automaticità" nel gergo sociale sociale). Gli studi di priming hanno esercitato una volta un grande potere nella psicologia sociale, perché gli studi pubblicati hanno mostrato effetti pervasivi di priming che hanno cambiato il mondo. Il priming avviene spesso al di fuori della consapevolezza, quindi le cose sembravano mostrare che le persone non sanno perché stanno facendo quello che fanno la maggior parte del tempo. Stupefacente! E se pensi che sia una pretesa insignificante, ripensa a The Unbearable Automaticity of Being (se sei un lettore di laici, guarda su Google Scholar).

L'innescare stereotipi anziani presumibilmente ha portato le persone a camminare lentamente. Il denaro da priming avrebbe portato le persone ad essere meno disponibili ad aiutare. L'esposizione degli uomini a donne attraenti avrebbe portato presumibilmente a un aumento dell'assunzione di rischi e di un consumo cospicuo. La gente era fuori controllo (proprio)! L'adozione di posizioni assertive non verbali ("power poses") forti potrebbe presumibilmente migliorare la tua vita migliorando sia la tua sicurezza sia il modo in cui le persone ti trattano. Ma tutte queste scoperte, e molto altro ancora, si sono dimostrate sufficientemente difficili da replicare che molti scienziati ora le ritengono alquanto dubbiose.

E i problemi vanno ben oltre le repliche fallite degli studi di preparazione. Stereotipo della ricerca sulle minacce, che è ampiamente interpretata come la dimostrazione che "rimuovere la minaccia e che i punteggi dei test in bianco e nero sono uguali" non ha mai mostrato una cosa del genere. La ricerca sul pregiudizio implicito, che è stata ampiamente interpretata come dimostrazione dell'esistenza di un pregiudizio razziale pervasivo, non ha mai dimostrato che, ad esempio, i punteggi impliciti di test di associazione che riflettono il pregiudizio (punteggi superiori a 0) corrispondono generalmente a un comportamento discriminatorio (almeno uno studio ha mostrato che corrisponde al comportamento egualitario). O, in modo diverso, alcuni degli effetti più famosi e più influenti nella psicologia sociale, in particolare gli effetti ottenuti negli ultimi 20 anni, sono stati messi in discussione dalla replicazione fallita dopo la replica fallita, e dalle rivelazioni di discutibili metodologie, statistiche e interpretative pratiche.

E peggiora prima che migliori.

• Tratti di personalità, intelligenza emotiva e collaborazione
• 12 guasti comuni delle persone passive-aggressive
• Sei manipolato?
• Perché vincere è bello
• L'estasi che viene con equilibrio

Parte I: La replicabilità (Ir?) Della psicologia sociale

Alcune delle prove più evidenti per affermare che "la maggior parte dei psicofisici sociali è falsa" provengono da un singolo documento (Open Science Collaboration, 2015, pubblicato su Science) che ha esaminato la ricerca pubblicata nel 2008 in diversi campi della psicologia, inclusa la psicologia sociale.

Quel documento era una collaborazione multi-laboratorio che tentava di replicare 52 studi pubblicati su due principali riviste di psicologia sociale (Journal of Personality and Social Psychology and Psychological Science). Ciò che "conta" come "una replica di successo" non è esso stesso una scienza risolta. Ciò che conta come "la prova che l'effetto è reale" non è una scienza sistemata. Quindi hanno usato più misure. A seconda dei criteri, hanno scoperto che tra il 25 e il 43% degli studi ha replicato o rivelato un vero effetto.

• Il sorprendente vantaggio di parlare con estranei su un aereo
• 7 modi per dire "No" se sei introverso o timido
• "Stai così controllando!"
• Cinque sfide comuni di amicizia per i bambini
• Territori del Nord-Ovest a distanza privi della sanità mentale

Finora, questo suona come "La maggior parte delle scoperte psicologiche sociali sono false" è abbastanza sicuro. E potrebbe essere. Ma non penso che la conclusione generale sia giustificata da questo studio di replica su larga scala.

Parte II: OSC 2015 è un grande studio, ma non lo sovrasintenderemo

Ecco la cosa fondamentale che OSC NON ha fatto rende l'inferenza "la maggior parte delle scoperte psicologiche sociali sono false" ingiustificate:

Non hanno identificato una popolazione di studi di psicologia sociale (diciamo, dal 1950 al 1970 o anche nel 1990), ne selezionano casualmente e poi tentano di replicarli.

Invece, hanno prima limitato i tentativi di replica al 2008. Quindi hanno creato sottocampioni di studi (ad esempio, i primi 20 articoli pubblicati su Psychological Science). Hanno quindi consentito ai loro team di replica di selezionare i documenti da cui tentare una replica. In generale, in base alla progettazione, gli ultimi studi in report multi-studio sono stati selezionati per i tentativi di replica. Oltre a ciò, tuttavia, dal rapporto pubblicato su Science, è impossibile sapere in che modo i team di replica hanno selezionato la carta da replicare. È possibile che, in modo sproporzionato, i team abbiano selezionato documenti che riportavano studi che ritenevano fossero improbabili da replicare (non c'è modo di sapere di non sorvegliare gli oltre 100 coautori di tali repliche, cosa che non ho fatto). Come minimo, questo non può essere escluso.

Indipendentemente da ciò, in assenza di un campionamento casuale di studi per un lungo periodo di tempo, nessuna conclusione generale sulla replicabilità dello psicologo sociale può essere raggiunta sulla base di questo documento. Al diavolo, non si possono nemmeno trarre conclusioni chiare sulla replicabilità dello psicologo sociale pubblicato nel 2008 da questo articolo.

Ovviamente, queste limitazioni non significano che lo psicologo sociale sia sicuro. Non significano che lo studio sia definitivamente noto per aver fornito risultati non rappresentativi della psicologia sociale. Certamente significa che molte cose vengono pubblicate e difficili da replicare.

Parte III: La replica nella psicologia sociale è dura anche quando l'effetto è noto per essere vero

Jon Krosnick è uno psicologo sociale / politologo di Stanford, riconosciuto a livello internazionale come uno dei migliori ricercatori nel campo delle scienze sociali. Una volta ha diretto l'American National Election Study, un'indagine rappresentativa a livello nazionale di opinioni politiche che dura da decenni, appare di routine nei NYTimes e ha ricevuto numerosi riconoscimenti per il suo lavoro.

Alcuni anni fa, ha raccolto dati di indagine su quasi 10.000 persone. Una serie di noti effetti di indagine sono stati identificati come statisticamente significativi in ​​questo ampio campione (ad esempio effetti sugli ordini, acquiescenza, ecc.). Sottopassi di circa 500-1000 persone sono stati quindi esaminati per determinare la frequenza con cui sottocampioni statisticamente significativi avrebbero dimostrato gli stessi effetti.

Nonostante il fatto che i fenomeni studiati fossero di solito significativi nel grande campione, i sottocampioni hanno trovato prove significative dell'effetto solo circa la metà del tempo (le analisi sono ancora in corso e il numero esatto di repliche per ciascun fenomeno è soggetto a variazioni). Anche se il numero di "replica" al 50% è solo in attesa di analisi finali, si parla delle difficoltà di replica, anche con campioni di grandi dimensioni, e anche senza alcuna pratica di ricerca discutibile.

Cioè, per certi versi, buone notizie. Ciò significa che, ad esempio, quando studi di campioni più piccoli replicano solo il 30% o il 40% delle volte, non è necessariamente la prova di pratiche problematiche dilaganti. Può semplicemente essere una testimonianza dei grandi effetti della variabilità del campionamento e delle modifiche minori nel contesto (ad esempio, condotto in un altro stato o paese) o procedura. E ci sono altre buone notizie. Almeno con i loro grandi campioni, i risultati preliminari della squadra di Krosnick suggeriscono che, indipendentemente dal fatto che abbiano trovato prove significative dell'effetto o meno, circa l'80% degli studi non erano significativamente diversi l'uno dall'altro. Anche in questo caso, se il conteggio finale è del 71% o del 93% o 80%, si tratta di un livello relativamente alto di replica.

Perché questo è importante? Mostra come i capricci della variabilità del campionamento possano rendere piuttosto difficile persino un vero effetto. Significa anche che, forse, dobbiamo riconsiderare la nostra comprensione di quanto spesso una ricerca debba replicarsi perché sia ​​credibile, e come possiamo sempre distinguere una scoperta credibile da una incredibile. Molti scienziati stanno lavorando proprio su questo problema e hanno sviluppato nuovi strumenti statistici per capire cosa è credibile da ciò che non lo è (curve p, indici di replica, test statistici per identificare e controllare i pregiudizi di pubblicazione, ecc.). La maggior parte di questi metodi è, tuttavia, sufficientemente nuova che ci vorrà probabilmente un po 'prima di sapere quale funziona meglio.

Parte IV: Replicabilità della psicologia sociale

Alcune aree della psicologia sociale sono un disastro, specialmente quelle che riguardano il "priming sociale" (vedi riferimenti per i link agli articoli che discutono le varie crisi di innesco e i fallimenti da replicare). Non sto dicendo che tutti siano falsi, ma, con alcune rare eccezioni, non so quali effetti di priming sociale siano credibili e quali no. Il priming cognitivo non è un disastro. C'è stato un lavoro eccellente e facilmente replicabile sul priming cognitivo nella psicologia cognitiva. Dopo l'esposizione alla parola "nero", le persone riconoscono più rapidamente le presentazioni successive della parola "nero" (confrontate, ad esempio, con altre parole, come "verde" o "blasfemia").

Nel mio laboratorio, da oltre 30 anni, ho replicato ciascuno dei seguenti fenomeni:

• Gli stereotipi condizionano il modo in cui le persone giudicano un individuo quando la gente non ha molte informazioni (oltre alla appartenenza alla categoria degli stereotipi) su quell'individuo
• Le persone giudicano in maniera massiccia gli individui sulla base delle loro caratteristiche personali e quasi mai sugli stereotipi, se le persone hanno informazioni rilevanti sulle caratteristiche personali di quell'individuo – ad esempio, la loro personalità, i risultati, i comportamenti, ecc.
• Livelli di accuratezza da moderati a elevati in molti stereotipi demografici
• Imprecisione pervasiva negli stereotipi nazionali quando vengono valutati rispetto ai cinque grandi criteri di autovalutazione della personalità
• Le aspettative degli insegnanti producono profezie che si autoavverano in classe – ma questi effetti tendono ad essere deboli, fragili e fugaci (pochi altri ricercatori potrebbero descriverli in questo modo, ma quando si esaminano i risultati effettivi, questo è praticamente ciò che quasi tutti hanno effettivamente trovato).
• Le aspettative degli insegnanti predicono soprattutto i risultati degli studenti perché quelle aspettative sono accurate, non auto-avverate.
• Nondimeno, le aspettative degli insegnanti condizionano anche le loro valutazioni degli studenti a un livello modesto.
• La salienza della mortalità accresce l'antisemitismo.
• L'auto-consistenza domina le reazioni cognitive al feedback delle prestazioni; l'auto-valorizzazione domina le reazioni affettive al feedback delle prestazioni
• L'errore di attribuzione fondamentale
• Pregiudizi self-serving
• Distorsioni di conferma politicamente motivate

Non ho scoperto questi fenomeni. Quindi le mie repliche costituiscono una prova indipendente che i fenomeni sono reali. Tuttavia, nessuno di questi erano repliche dirette. Nel linguaggio moderno, tutte erano repliche concettuali. In effetti, questa distinzione non era nella mia mente quando ho condotto quegli studi. 25 anni fa (o 15 o anche 5) nessuno parlava delle repliche dirette contro quelle concettuali, e davo per scontato che altre ricerche avessero trovato un fenomeno, e andai a vedere se potevo, anche, di solito al servizio di alcuni altri sforzi di ricerca (ad esempio, Rosenthal e Jacobson, 1968, hanno dimostrato profezie che si autoalimentano indotte sperimentalmente: volevo vedere se le aspettative degli insegnanti si sviluppavano da sole, senza essere ingannate dai ricercatori, erano anche auto-avverate – lo erano). Ho spesso riprodotto i fenomeni degli altri (ultimamente, abbiamo completato una replica concettuale di successo dello studio di pregiudizi / corrispondenza tra proclama / corrispondenza di Gianni e Harris, ma con gli stereotipi sessuali che limitano il comportamento piuttosto che le richieste dei ricercatori). Ora, la maggior parte di questi non sono i "temi scottanti" degli ultimi 20 anni. Nessun innesco, nessun pregiudizio implicito, nessuna potenza in posa, nessuna minaccia stereotipata. Molti, anche se non tutti, di questi risultati sono accompagnati da dimensioni di effetto piuttosto grandi (che era uno dei fattori predittivi del successo della replica nel documento OSC, 2015).

Questo è solo nel mio laboratorio. Conta solo cose che conosco da altre persone, che sono state replicate in più di un laboratorio indipendente:

• Le basi morali di Jon Haidt si replicano.
• L'attrazione di somiglianza è molto potente.
• I pregiudizi di destra contro i gruppi di sinistra e il pregiudizio di sinistra contro i gruppi di destra si ripetono ripetutamente.
• L'esagerazione degli stereotipi politici si replica.
• Il pregiudizio (non piace / piace un gruppo) di solito predice tutti i tipi di pregiudizi più fortemente di quanto facciano gli stereotipi (credenze sui gruppi.
• Sopra la precisione del caso nella percezione della persona basata su sottili fette di comportamento si replica.
• L'euristica simile a Kahneman e Tversky si replica per lo più.
• I pregiudizi Ingroup si replicano il più delle volte.
• Si autoproclamano autovalutazioni di competenza, moralità e salute.
• Nella percezione personale, le persone cercano informazioni diagnostiche più che informazioni di conferma in quasi tutti gli studi che hanno mai dato alle persone la possibilità di cercare informazioni diagnostiche.

Finché si parla di risultati tecnici, piuttosto che di sovrainterpretazioni diffuse di tali risultati:

• punteggi IAT razziali superiori a zero ampiamente replicati;
• i conservatori ottengono regolarmente punteggi più alti su misure comuni di rigidità e dogmatismo rispetto ai liberali
• la razza / etnia e le differenze di classe nei risultati scolastici abbondano.

Sono sicuro che ce ne sono molti altri che non ho elencato.

Molte scoperte sono facili da replicare.

D'altra parte, questo non è un campione casuale di argomenti. Non sarebbe giustificato concludere dalla mia esperienza personale o da questo fuori-cima della lista di testa che, di fatto, lo psicologo sociale va bene, grazie mille. E i problemi vanno ben oltre la replica, ma questa è una missiva per un altro giorno.

Come scopriremo cosa, dal vasto magazzino di quasi un secolo di ricerca psicologica sociale, è effettivamente valido e credibile? Come possiamo distinguere risultati drammatici, che cambiano il mondo, che sono solo hype, racconto fantastico, risultati phacked, pio desiderio e, in definitiva, olio di serpente, da risultati drammatici che cambiano il mondo che possiamo davvero appendere i nostri cappelli e uscire e cambiare il mondo con? Nessuno lo sa ancora, e chiunque affermi di averlo fatto, senza aver sottoposto le loro affermazioni a test scettici come pcurves, indici di replica e tentativi di replica pre-registrati, sta solo vendendo olio di serpente confezionato.

Per me, c'è un solo, fondamentale ingrediente per capire questo: diversità di punti di vista e profondo scetticismo nei confronti delle affermazioni reciproche. Quando le risposte non sono risolte la scienza – e gran parte della nostra scienza è attualmente instabile – la diversità e lo scetticismo sono strumenti essenziali per scoprire la verità dall'hype, il segnale dal rumore, i risultati reali che cambiano il mondo dall'olio di serpente.

Il pensiero di gruppo e la deferenza verso le "autorità" scientifiche e le ripetute storie "scientifiche" che poggiano su piedi empirici di fermezza poco chiara costituiscono una minaccia significativa per la validità della psicologia sociale. Grandi dosi di umiltà e incertezza, almeno per quanto riguarda le nostre affermazioni sulla psicologia sociale, sembrano essere in ordine. In questo spirito, stiamo probabilmente meglio evitando affermazioni estreme, tra cui "la maggior parte delle scoperte della psicologia sociale sono false", a meno che non sappiamo che hanno basi estremamente solide di supporto scientifico.

Chi sapeva che Mark Twain era uno scienziato? "Non è quello che non sai che ti mette nei guai. È quello che sai per certo che non è così. "

Riferimenti

Jones, EE, & Harris, VA (1967). L'attribuzione di atteggiamenti. Journal of Experimental Social Psychology, 3, 1-24.

Krosnick, JA Replication. Talk presentato all'incontro 2015 della Society for Personality and Social Psychology.

Loeb, A. (2014). Benefici della diversità. Natura: fisica, 10, 616-617.

Open Science Collaboration. (2015). Stima della riproducibilità della scienza psicologica. Science, 349, aac4716. doi: 10.1126 / science.aac4716

Rosenthal, R., & Jacobson, L. (1968a). Pigmalione in classe: aspettative degli insegnanti e sviluppo intellettuale degli studenti. New York: Holt, Rinehart e Winston.

Facile accesso alle risorse on line su problematico priming e altri studi difficili da replicare

Recenti fallimenti di priming

Effetti di innesco validi e non validi

Una replica di priming fallita in anticipo

Unicorni di psicologia sociale

Unicorni psicologici sociali: le repliche fallite dissipano i miti scientifici>

Potenza sta proponendo solo Hype?