Quando può essere creduta la scienza psicologica?

La maggior parte delle mie voci finora ha affrontato problemi con la psicologia come scienza: problemi di replicabilità, pratiche di ricerca discutibili, pregiudizi politici e problemi di interpretazione e credibilità. E penso che la comprensione dei limiti e dei problemi con la scienza psicologica sia incredibilmente importante.

Tuttavia, allo stesso tempo, non ho mai dichiarato, implicito o inteso dichiarare la ricerca psicologica come una cuccetta. C'è un sacco di buone ricerche in corso là fuori. Quindi, la domanda diventa: "Come si fa a sapere quando prendere sul serio una richiesta fatta dai ricercatori psicologici?"

Anche se questa non è una domanda semplice, cerco di fornire alcune linee guida utili su come sapere quando e se prendere la scienza in generale, in particolare la scienza psicologica, e sostiene che si suppone che si basino sulla scienza seriamente.

I. Qual è il reclamo? Il claim "Abbiamo trovato X" o il claim "X è vero"? "Abbiamo trovato X" è probabile che sia una descrizione del risultato di uno studio particolare. I ricercatori a volte interpretano male i propri studi e quelli degli altri, ma, almeno, "Abbiamo trovato X" è una richiesta limitata. O lo studio ha trovato o meno X. "X è vero" è molto più estremo. X potrebbe essere vero, ma credere che X sia vero richiede uno standard di prova molto più alto di quello richiesto per credere "Hanno trovato X".

• Una cameriera di Croissant e Cross
• Dire "No" tra le differenze di potenza
• Ray Clark, Phillip Garrido e amici uomini
• La saggezza dell'incertezza
• Come l'irrazionalità può ridurre gli ingorghi

Ecco perché:

II. Mai e poi mai credere come "generalmente vero" alcuna conclusione da un singolo studio. Singoli studi possono produrre risultati errati o fuorvianti per un miliardo di motivi.

E

• Sopravvissuto da uno: una recensione
• A buon mercato? Può essere. Irrilevante? No!
• 4 motivi per pensare a ciò che potrebbe essere stato
• Il caso della donna che ha rifiutato la sua mammografia
• Fathers and Family Storytelling: A Natural Fit

III. Mai e poi mai credere come "generalmente vero" qualsiasi conclusione che emerge da un singolo ricercatore o gruppo di ricercatori.

Vedi i miei precedenti post per i punti II e III sopra:

Influenze non scientifiche sulla psicologia sociale

Unicorni di psicologia sociale

Sette motivi per cui dovresti diffidare della scienza

La critica scientifica della (principalmente) scienza psicologica

IV. Se un risultato è riportato in un singolo foglio, dovrebbe essere trattato come "Oh, è interessante, mi chiedo se sia vero" ma non come "fatto". Naturalmente, il risultato è un fatto (a meno che i ricercatori non abbiano commesso una frode , che è altamente improbabile). Ma ciò non significa che il fenomeno che hanno trovato o le conclusioni raggiunte siano giustificate o replicabili.

V. Tipicamente, quando un risultato è stato trovato da cinque o più team indipendenti di ricercatori, senza errori o qualifiche, è altamente credibile. Certo, potrebbe esserci sempre qualcosa di sistematicamente sbagliato in tutto il campo, e qualcuno, un giorno, potrebbe scoprirlo. Quando ciò accade, si dovrebbe essere aperti a cambiare la propria conclusione. La scienza differisce dalla religione in quella religione che si suppone si occupi di verità "eterne". Non ci sono verità intrinsecamente eterne nella scienza, perché è sempre possibile che nuovi dati verranno alla luce per cambiare le nostre convinzioni.

VI. Inoltre, i miei criteri di "cinque" team di ricercatori sono arbitrari. Una persona ragionevole potrebbe selezionare un numero più alto o più basso. Per me, tuttavia, se cinque team separati trovano qualcosa, e nessuna ricerca è fuori là che contraddice quelle scoperte, di solito sono piuttosto convinto, a meno che non riesca a vedere qualcosa di sistematicamente problematico.

Nota: per "squadre indipendenti" si intendono le squadre che non sono collegate. Uno studio del dottor X, due repliche dei post doc del dottor X e altri due dagli ex studenti del dott. X NON contano.

VII. Cerca meta-analisi! (La meta-analisi è un insieme di tecniche per combinare i risultati di molti studi, in parte, per vedere se c'è davvero lì e, in tal caso, quanto è grande). Quando sono state fatte molte ricerche in alcune aree, le meta-analisi di solito forniscono dei riepiloghi ECCELLENTI di quanto grande o piccolo sia un fenomeno. Ad esempio, molti psicologi sociali sembrano credere che i pregiudizi degli stereotipi di genere (quando si giudicano singoli uomini e donne) siano ampi, potenti e pervasivi (vedi il mio libro per numerosi esempi). Tuttavia, Swim et al hanno riscontrato che, in media, i pregiudizi stereotipici di genere sono uno dei più piccoli effetti nella psicologia sociale, in media per una correlazione (tra il genere target e il giudizio del percipiente) di r = .04.

VIII. Dare agli studi una maggiore credibilità quando non è probabile che siano stati p-hackerati. Tieni gli occhi aperti per le prove di p-hacking. P-hacking si verifica quando i ricercatori torcono, distorcono, friggono, arrostiscono, arrostiscono e marinano i loro dati per produrre un'analisi che raggiunga il Santo Graal scientifico di p <.05, per poter pubblicare. Noto flag di p-hacking noti: piccole dimensioni del campione, in particolare con effetti insolitamente grandi, uso di covariate, partecipanti scartati, risultati "carini" e "controintuitivi". Solo perché alcuni report includono queste bandiere rosse non significa che siano coinvolti in p-hacking. Ma è più probabile che lo abbiano fatto rispetto a quando il rapporto non include tali bandiere rosse. I rapporti senza tali bandiere rosse sono più credibili.

IX. Nelle aree politicizzate della ricerca psicologica, state attenti al potenziale di pregiudizi politici per distorcere la teoria, i metodi e le interpretazioni. La maggior parte degli psicologi sono liberali. In generale, i liberali non sono più, e forse meno, prevenuti nel modo in cui considerano la scienza rispetto ai conservatori. Tuttavia, ci sono così pochi conservatori in psicologia che "pregiudizi conservatori", per quanto esiste nel mondo, difficilmente esiste nella scienza psicologica. Il pregiudizio liberale, tuttavia, è vivo e vegeto. Fai attenzione ai programmi di ricerca che sembrano ispirati e guidati da programmi ideologici. Nella buona scienza, alcune domande sul funzionamento umano guidano la ricerca; nella scienza parziale, provare una visione del mondo liberale è "migliore" o "giustificato" guida la scienza.

Riferimenti selezionati

Jussim, L. (2012). Percezione sociale e realtà sociale: perché l'accuratezza domina la parzialità e la profezia che si autoavvera. New York: Oxford University Press.

Simmons, JP, Nelson, LD, e Simonsohn, U. (2011). Psicologia falso-positiva: la flessibilità non divulgata nella raccolta e analisi dei dati consente di presentare qualcosa di così significativo. Scienze psicologiche, 22, 1359-1366.

Swim, J, et al (1989). Joan McKay vs John McKay: le valutazioni di pregiudizio degli stereotipi di genere? Bollettino psicologico, 105, 409-429.