Cosa c'è di sbagliato nella scienza psicologica sociale?

Questo post di blog riassume alcune delle molte e profonde disfunzioni che caratterizzano la scienza psicologica e, in particolare, la scienza psicologica sociale. Parte di questo comporta "guardare sotto il cofano" – aspetti tecnici, statistici e metodologici della ricerca psicologica sociale.

Non è forse così noioso, rispetto ad esempio, leggere articoli su "Sei modi per migliorare il sesso" o "Cinque segni che stai vivendo con un sociopatico" – il tipo di articoli che si trovano spesso in altri blog di Psych Today. Perché qualcuno oltre agli scienziati dovrebbe preoccuparsi di questo?

Questo è il motivo per cui dovresti preoccuparti e perché penso che molti di voi troveranno questo interessante. Le "informazioni" in queste colonne di consigli possono provenire da due luoghi: le esperienze professionali e personali degli autori, o la scienza. In assenza di una buona scienza, l'esperienza professionale e personale è tutto ciò che dobbiamo andare avanti, ed è decisamente meglio di niente.

Ma il gold standard è la scienza. Quando la scienza viene condotta in modo di alta qualità e fornisce risposte chiare a qualche domanda, questa è la risposta che vorrei fare ogni volta. E se per te è importante avere la risposta giusta, dovresti cercare di rintracciare la scienza.

• Osare ascoltare le voci
• I medici prescrivono la bulimia come strumento di perdita di peso?
• Perché più donne stanno andando felicemente senza trucco
• Aiuto! I miei antidepressivi non funzionano

Preferiresti condurre la tua vita sulla base del tuo bisnonno di 95 anni che fumava 3 pacchetti ogni giorno fino a quando non ha finalmente preso a calci, o sulla montagna di prove che il fumo ti mette a un rischio molto più alto per ogni sorta di malattie terribili e una morte precedente? Certo, questo ha senso solo se la scienza è sana …

Quindi ecco la vista da sotto il cappuccio …

The Controversial Fiske Essay

Questo è il mio secondo post ispirato a un tema controverso, persino infiammatorio, da un eminente psicologo sociale. (Vai qui per la prima voce).

In quel saggio, che era stato definito come una richiesta di maggiore cortesia nelle critiche scientifiche, l'ex presidente dell'Associazione per la scienza psicologica, Susan Fiske, si scagliò contro i critici online della scienza psicologica, chiamandoli tutti i tipi di nomi cattivi, come "bullo" "E" terrorista metodologico ".

In questo post, rivedo il contesto scientifico profondamente disfunzionale da cui è emerso il saggio di Fiske. Esiste un termine militare, che inizia con "cluster" e seguito dalla parola di quattro lettere, per un'operazione in cui più cose sono andate altrettanto male, una volta rese popolari da Jon Stuart nel Daily Show. Si applica verosimilmente bene allo stato attuale della psicologia sociale.

COSA HA FATTO SBAGLIATO CON LA SCIENZA PSICOLOGICA?

La crisi della replica

A volte, i problemi nella psicologia sociale sono indicati come una "crisi di replica" perché:

1. Molti di noi credono di aver scoperto di recente che gran parte della nostra letteratura empirica pubblicata non riesce a replicarsi. Tutti i tipi di scoperte famose, carine e controintuitive sono state soggette a errori di replica. Vedi La maggior parte dei risultati psicologici sociali pubblicati falsi per maggiori dettagli. Verso la fine di questo post, fornisco una lista – una lista molto lunga – di fenomeni o scoperte, molte delle quali erano piuttosto famose e fatte schizzare nei notiziari mainstream perché erano incredibili !!! che sono stati soggetti a repliche fallite o altre fonti di dubbio.

2. Tuttavia, non c'è nemmeno un consenso in psicologia sociale su ciò che "conta" come una replica riuscita o fallita. Ad esempio, quando Open Science Framework (OSF) ha condotto i tentativi di replica multi-sito di molti studi di psicologia sociale, hanno stimato la replicazione in vari modi e hanno raggiunto un valore compreso tra il 25% e il 50%, a seconda dei criteri.

Gilbert et al (2015) hanno sostenuto standard diversi e hanno concluso che quasi l'85% è stato replicato.

Simonsohn (2016) ha sostenuto che entrambi avevano torto.

Non ho intenzione di "risolvere" questo problema; il mio punto principale qui è che gli psicologi sociali non possono nemmeno essere d'accordo su ciò che conta come una replica. Finché noi, come campo, raggiungiamo una sorta di consenso su questo argomento, saremo ridotti a interminabili discussioni interne su ciò che si replica e cosa no, e cosa significa tutto.

* E per "noi" intendo ricercatori di psicologia sociale. Tangenzialmente, se non abbiamo alcun consenso su questi temi, potremmo considerare di essere un po 'più tolleranti nei confronti dei laici che non necessariamente credono sempre alle nostre affermazioni a volte alte.

Indipendentemente da ciò che si pensa dello studio di replica OSF, molti psicologi sociali ritengono che vi sia un problema di replicazione, e per una buona ragione. Un sacco di cose non si replica. Ho postato ripetutamente su Psych Today su questo stesso problema:

Vedi i miei due blog sugli Unicorni (Social Psychic Unicorns and Unicorns of Social Psych) e la mia voce più recente intitolata "Most's Published Psychology Findings False?"). Spoiler: dubito che la risposta sia "sì", ma è molto difficile saperlo con certezza. Ed è ancora più difficile sapere quali scoperte, nella nostra vasta storia di pubblicazioni di ricerca, saranno probabilmente robuste e valide, e che sono completamente false, non completamente false ma esageratamente esagerate, e su cui possiamo davvero appendere i nostri cappelli.

Tuttavia, "Replication Crisis" è un termine improprio, perché si concentra troppo strettamente sulle repliche fallite come una minaccia alla scienza psicologica sociale. Le repliche non riuscite sono una minaccia e una grande. Ma…

La crisi di validità: le disfunzioni nella scienza psicologica sociale vanno oltre le repliche fallite

Ecco un breve campionario di ulteriori problemi che minacciano l'integrità della scienza psicologica sociale e come creano potenziali problemi, spesso molto reali, che minano la validità della psicologia sociale.

Piccoli campioni Le statistiche calcolate con minuscoli campioni non hanno significato, paragonabile a dire "siamo abbastanza sicuri che la temperatura di domani sarà tra i 10 ei 100 gradi Fahrenheit". Lo Studio della prigione di Zimbardo è forse uno degli esempi più famosi di uno studio che è stato pubblicizzato in modo intensamente intenso sulla base di un piccolo campione di 24 partecipanti.

Ed ecco un bocconcino che è davvero davvero stravagante. Un recente studio dei riformatori della scienza Chris Fraley e Simine Vazire (fondatore della Society for the Improvement of Psychological Science) hanno scoperto che le riviste più prestigiose e influenti nella psicologia sociale – quelle che "tutti" (sul campo) leggono e che hanno enormi fattori di impatto e indici delle citazioni: dimensioni medie dei campioni inferiori rispetto alle riviste meno prestigiose e di forte impatto. Che importa? Gli studi con campioni piccoli producono risultati meno credibili rispetto a quelli con campioni più grandi. Potresti pensare che le riviste scientifiche "migliori" sarebbero garanti di una scienza di alta qualità. Ma se ci pensassi, ti sbaglieresti (il che non vuol dire che tutto ciò che è pubblicato qui è cattivo, solo che spesso non hanno sostenuto una delle fonti più importanti e ovvie della buona scienza).

10 anni fa, avrei scritto "Mi puoi sparare ora" – tuttavia, è proprio a causa delle prove e della difesa di riformatori come Fraley e Vazire che le cose stanno, infatti, cominciando a migliorare (esattamente come è un blog per un altro giorno, ma un semplice cambiamento è che molti diari possono richiedere dimensioni di campionamento più grandi).

Campioni non rappresentativi. Spesso raggiungiamo in modo ingiustificato conclusioni su "persone" basate su partecipanti che chiaramente non rappresentano "tutta l'umanità". Solitamente, non sono rappresentativi di nessun gruppo conosciuto, nemmeno studenti universitari (possono essere studenti universitari senza essere rappresentativi di studenti universitari nello stesso modo in cui puoi venire dall'Iowa senza essere rappresentante degli Iowan).

P-hacking e mancanza di trasparenza . A volte gestiamo molte statistiche, selezioniamo quelle che dicono ciò che vogliamo, quindi elaboriamo una storia avvincente. Questo è stato chiamato "p-hacking" per catturare le idee che, intenzionalmente o meno, i ricercatori a volte "hackerano" la loro strada verso il Santo Graal di "significato statistico", che di solito è necessario per far pubblicare un articolo. Cioè, a volte conduciamo le nostre statistiche come un arciere che spara una freccia, quindi disegna un bersaglio intorno a dove la freccia atterra, con la freccia nel bullseye. Il Garden of Forking Paths cattura l'idea che ci sono molti modi per analizzare i dati, e riportiamo solo un sottoinsieme che ci porta dove vogliamo andare (preferibilmente, una pubblicazione su una rivista prestigiosa).

Clientelismo Gli scienziati a volte sono prevenuti a favore del lavoro dei loro amici e studenti attuali e precedenti.

Statistiche subottimali. Le statistiche del cavallo di battaglia nella maggior parte della psicologia non rispondono alla domanda che i ricercatori di solito vogliono avere una risposta. Di solito, i ricercatori vogliono sapere, "La mia teoria o ipotesi è giusta, o, almeno, più giusta delle alternative conosciute?" Le statistiche utilizzate dalla maggior parte di noi rispondono alla seguente domanda: "Quanto è probabile che la relazione o la differenza che ho ottenuto abbia si è verificato, o uno ancora più grande (più estremo), se l'ipotesi nulla è vera? "(l'ipotesi nulla di solito afferma che, nella popolazione più ampia, non c'è alcun effetto o relazione). Se ti sembra complicato, e non puoi seguirlo, non essere troppo arrabbiato. È contorto. In realtà, per giungere alla conclusione, "Eureka, la mia ipotesi è confermata!" La logica diventa ancora più complicata. Questo perché la logica deve essere torturata per far apparire le statistiche come se dicessero "La mia ipotesi è confermata!", Quando in realtà non lo fanno.

Bias di pubblicazione. Giornalisti e ricercatori di solito richiedono studi empirici per raggiungere un Santo Graal statistico prima della pubblicazione ("significatività statistica", ovvero "p <.05 " ). Per chi non è statisticamente abituato, ti starai chiedendo cosa diavolo sia p <.05? Significa "c'è meno del 5% di possibilità che questi dati, o dati più estremi, si verifichino se l'ipotesi nulla fosse vera." Qual è la "ipotesi nulla?" È l'ipotesi che non c'è alcun effetto di nessuno condizioni sperimentali o intervento, o che non vi è alcuna relazione tra due variabili. Quindi, ad esempio, una "ipotesi nulla" sarebbe: "La sicurezza non è correlata con le prestazioni".

P <.05 è stato a lungo interpretato nel senso di "Eureka, il mio fantastico! cambiare il mondo !! l'ipotesi è confermata! "e le riviste raramente erano interessate a pubblicare ipotesi non confermate. Una conseguenza di ciò è che la letteratura pubblicata spesso esagera il potere dei processi e delle ipotesi psicologiche sociali. Pensaci. Se vengono pubblicati solo gli effetti "forti" (p <.05), molti degli effetti vicini allo zero non vengono pubblicati. Ma abbiamo bisogno di sapere su quegli effetti vicini allo zero per capire il potere del fenomeno studiato. Ma non li conosciamo perché non sono pubblicati.

Altri pregiudizi di pubblicazione . Carl Sagan una volta disse: "Le affermazioni straordinarie richiedono prove straordinarie". Questo perché qualcosa di straordinario è altamente improbabile che sia vero. Per superare lo scetticismo giustificato su una tale richiesta, le prove dovrebbero essere molto forti. La psicologia sociale ha funzionato in modo quasi completamente opposto: "Le affermazioni straordinarie richiedono minuscole dimensioni del campione". Questo perché la psicologia sociale ha una strana cultura di valutazione dei risultati "sorprendenti" e "controintuitivi". I posterchildren per queste disfunzioni sono i famigerati stereotipi sugli anziani in via di estinzione / camminare lungo lo studio della sala che ha contribuito a innescare la crisi di replicazione, che ha avuto due esperimenti che "dimostrano" questo effetto, ciascuno con soli 30 partecipanti; e la minaccia stereotipata, in cui il più grande studio (114 partecipanti) non ha avuto alcun effetto stereotipo significativo sulla minaccia, ma uno è stato segnalato in studi con 40 e 47 partecipanti). Tali risultati sono visti come innovativi e creativi, quindi, piuttosto che tenere i ricercatori a standard probatori superiori, molti tengono tali studi per abbassare gli standard.

Il risultato è che la letteratura scientifica psicologica sociale può essere condita con sorprendente! controintuitivo! cambiare il mondo! drammatico! risultati che sono, nel migliore dei casi, difficili da replicare e, nel peggiore dei casi, non veri affatto. Questa è la versione scientifica del vecchio detto: "Se sembra troppo bello per essere vero, probabilmente lo è". Quanti risultati descrive? Quale? Nessuno lo sa ancora.

Storytelling e overselling . I ricercatori spesso fanno affermazioni straordinarie basate su prove molto deboli. Il mio libro va nel caso dopo questo, dove le profezie che si autoavvera e altri pregiudizi sono regolarmente propagandate come potenti e pervasive, quando, in realtà, le prove dimostrano che sono deboli, fragili e fugaci. La minaccia stereotipata, in cui si pretende che un piccolo aggiustamento situazionale tenti di eliminare completamente le differenze di gap nel raggiungimento degli obiettivi razziali, è un altro esempio.

Distorsioni di conferma da parte dei ricercatori e pratiche interpretative discutibili. Molti nelle prime generazioni di scienziati psicologi (Phds ottenuti nel 1970-2010) sono stati addestrati a raccontare "narrative avvincenti". I ricercatori sono diventati così bravi a raccontare queste storie che, a volte, lo fanno indipendentemente da ciò che dicono i dati. Il mio recente articolo Interpreti e Metodi, passa attraverso l'esempio dopo l'esempio (dopo l'esempio dopo l'altro) di documenti psicologici sociali che raccontano narrazioni così avvincenti, anche se i dati non supportano quelle narrative.

Scoprendo risultati e studi , i ricercatori possono spesso raggiungere quasi tutte le conclusioni che preferiscono. Le spiegazioni alternative sono spesso trascurate o ignorate; e sono spesso più fattibili rispetto alle spiegazioni pubblicate. A volte, gli psicologi sociali arrivano al punto di affermare che certe cose sono vere senza alcuna prova (ad esempio, sostiene che gli stereotipi sono inaccurati, gli umani sono una lista vuota, i test standardizzati non sono validi, ecc.). Gli studi famosi vengono spesso citati a tassi molto più alti rispetto alle repliche fallite di quegli stessi studi, anche dopo la pubblicazione delle repliche non riuscite.

Teorie sui non morti Alcuni di noi credono che la falsificazione abbia un ruolo centrale nella scienza. Alcuni di noi credono che il progresso scientifico si rifletta nello scartare teorie vecchie, cattive o subottimali con quelle migliori e più valide. È, tuttavia, quasi impossibile dichiarare qualsiasi teoria in psicologia sociale "sbagliata" o falsificata. Alcune possibili ragioni per questo bizzarro stato di vicende scientifiche possono essere trovate qui: "È offensivo dichiarare che alcune affermazioni psicologiche sono sbagliate?"

Bias di stato. Gli psicologi a volte si comportano come quelli di noi con sedie di nome e le nomine della Ivy League richiedono maggiore voce, attenzione e credibilità – e accesso a pubblicazioni e punti di finanziamento – rispetto a quelli di noi che non hanno questo status. Ma la scienza dovrebbe riguardare la qualità dei dati, non lo stato degli autori.

Pregiudizi politici Per molto tempo, la psicologia sociale è stata una sorta di club per persone con idee politiche di sinistra. Ciò ha allontanato alcuni studiosi dal campo e ha distorto le conclusioni in argomenti politicizzati.

LA SCIENZA PSICOLOGICA SOCIALE È FONDATA?

La risposta breve è … nessuno lo sa. Alcuni probabilmente lo sono; alcuni vanno sicuramente bene, e al momento abbiamo poco o nessun consenso su come capire quale è quale. In realtà, è probabilmente la domanda sbagliata. La domanda giusta o, almeno, una domanda migliore è: quali risultati psicologici sociali sono validi e validi e quali no?

Tutti i seguenti risultati o conclusioni sono stati ampiamente accettati. Ora sono tutti sotto una nuvola perché sono entrambi:

• Conosciuto per essere falso, esagerato o travisato
• Soggetto a repliche non riuscite
• Oppure le loro conclusioni sono dubbie o al contrario nel dubbio.

Se non hai familiarità con nessuna di queste aree di ricerca, puoi scoprire di più come segue:

1. Gli argomenti con collegamenti riguardano i miei blog o documenti che li discutono.

2. Per argomenti non collegati, puoi eseguire una ricerca su Google per tale argomento + "replica" o "errore di replica" o "riproducibilità" e di solito sarai in grado di trovare il risultato originale e la fonte del dubbio.

• Stereotipo di minaccia
• tutti i tipi di studi di preparazione
• dall'alto verso il basso influenze sulla percezione
• un ingente pregiudizio ingroup nelle percezioni di una partita di calcio
• il potere della situazione
• gli scettici del clima credono alle bizzarre teorie del complotto
• i conservatori negano le realtà ambientali
• i conservatori sono più prevenuti dei liberali in generale
• le profezie che si auto-avverano sono potenti e pervasive
• gli stereotipi sono la base di default e potenti distorsori della percezione della persona
• gli stereotipi sono inaccurati
• potenza in posa (le posture non verbali espansive hanno influenze straordinarie sulla fiducia e su come gli altri ti percepiscono)
• i cosiddetti interventi "saggi" aumentano il successo o l'affluenza alle urne
• i divari demografici derivano dalla discriminazione
• i punteggi superiori a 0 nella versione di pregiudizio del test di associazione implicita sono inegualitari
• le misure implicite di pregiudizio predicono meglio la discriminazione rispetto alle misure esplicite
• Gli stereotipi portano alla loro conferma
• esaurimento dell'Io
• l'ipotesi del feedback facciale
• himmicanes
• grandi porzioni di neuroscienze sociali
• e probabilmente molto di più che non ho elencato.

Le controversie sull'eventualità che gruppi di psicologia sociale stiano collassando attorno alle nostre orecchie hanno acceso le passioni degli scienziati. Queste sono a volte passioni virtuose, a volte anche ipocrisia e passioni offensive, su ciò che è scienza, ciò che conta, chi sta facendo una buona scienza, e chi no. Questo è il contesto scientifico da cui è emerso il saggio di Fiske, con le sue incivili accuse di inciviltà.