Valutazione della ricerca psicologica

Molti famosi studi psicologici non possono essere riprodotti.

Gli studi in psicologia spesso trovano risultati diversi. Anche in campi come la medicina, dove si potrebbe pensare che esista una relazione diretta tra l’intervento in esame e i suoi effetti, i risultati possono variare.

Stanford Prison Experiment

Fonte: Wikimedia Commons

• Bere troppo o non affatto potrebbe essere collegato alla demenza
• Managing Panic Attacks: The Technique of Riding the Wave
• Per aumentare il piacere delle cose vecchie, prova questo metodo
• Come puoi aumentare il tuo desiderio sessuale
• Alcune persone sono in overdose con la vitamina D?

Ad esempio, uno studio ha scoperto che bere un bicchiere di succo d’arancia al giorno potrebbe aumentare il rischio di una persona di ottenere il diabete di tipo 2 del 18%. I ricercatori dell’Università della California, Davis, tuttavia, hanno scoperto che bere 100% di succo riduce il rischio di diverse malattie croniche, incluso il cancro.

Marshmallow bianco

• Anni spalancati: come possono iniziare i ragazzi in anticipo?
• 5 motivi sorprendenti per scaricare la tua iscrizione alla palestra
• La generazione senza padre
• Vuoi essere sano? Trova un partner felice
• Come pensare al genere

Fonte: Wikimedia Commons

Ma molti pensano che la situazione sia peggiore in psicologia.

Un recente articolo del New York Times menziona alcuni famosi studi di psicologia sul comportamento umano che non possono essere riprodotti, incluso il famoso Stanford Prison Experiment che mostra come le persone che interpretano il ruolo di guardie hanno rapidamente agito crudelmente per prendere in giro i prigionieri, così come il famoso “test di marshmallow” ciò dimostra che i bambini piccoli che potrebbero ritardare la gratificazione dimostrarono un maggiore successo scolastico anni dopo quelli che non potevano.

Perché i risultati della ricerca variano e non riescono a replicare?

La relazione tra un intervento e i suoi effetti può dipendere da molti fattori. E le differenze nel contesto o nell’attuazione possono avere un grande impatto sui risultati di uno studio. Ci sono altri motivi per cui gli studi potrebbero riportare effetti diversi: gli errori di probabilità potrebbero influenzare i risultati di uno studio. I ricercatori possono anche influenzare consapevolmente o inavvertitamente i loro risultati.

Tutte queste fonti di variabilità hanno portato a temere una “crisi di replica” in psicologia e in altre scienze sociali. Data questa preoccupazione, come dovremmo valutare la ricerca in psicologia e scienze sociali?

La prima regola empirica è di non fare affidamento esclusivamente su nessuno studio. Se possibile, rivedi le meta-analisi o le revisioni sistematiche che combinano i risultati di più studi. Le meta-analisi possono fornire prove più credibili. Le meta-analisi possono suggerire ragioni per cui i risultati differiscono.

Una meta-analisi è un’analisi statistica che combina i risultati di più studi di ricerca. Il principio alla base della meta-analisi è che esiste una verità comune dietro tutti gli studi di ricerca concettualmente simili, ma ogni singolo studio è stato misurato con un certo errore all’interno degli studi individuali. L’obiettivo è utilizzare le statistiche per ottenere una stima aggregata, più vicina alla verità comune sconosciuta. Una meta-analisi, quindi, produce una media ponderata dai risultati di tutti gli studi individuali.

Oltre a fornire una stima della verità comune sconosciuta, la meta-analisi può anche contrastare i risultati di diversi studi e identificare i modelli tra i risultati dello studio. Può anche identificare le fonti di disaccordo tra questi risultati. E può identificare altre relazioni interessanti che emergono nel contesto di più studi. Un vantaggio chiave dell’approccio meta-analitico è l’aggregazione di informazioni che portano a un potere statistico più elevato e una stima puntuale più solida di quanto sia possibile dalla misura derivata da molti studi individuali.

Tuttavia, ci sono alcune limitazioni dell’approccio meta-analitico da considerare. Il ricercatore deve fare delle scelte su quali studi includere che possono influenzare i risultati della meta-analisi (ad esempio solo gli studi pubblicati). Il ricercatore deve decidere come cercare gli studi. E il ricercatore deve decidere come gestire i dati incompleti, analizzare i dati e tenere conto dei bias di pubblicazione.

A volte, tuttavia, vogliamo valutare un singolo studio psicologico individuale. Quindi, come dovremmo farlo? Quando si considera quanto peso dare a uno studio e ai suoi risultati, concentrarsi sulla dimensione del campione. È più probabile che gli studi non si replichino se si utilizzano campioni piccoli. I risultati più positivi e negativi sono spesso quelli con i campioni più piccoli o gli intervalli di confidenza più ampi. È più probabile che studi più piccoli non riescano a replicare in parte a causa del caso, ma gli effetti possono anche essere minori man mano che aumenta la dimensione del campione, per numerose ragioni. Se lo studio stava testando un intervento, potrebbero esserci limitazioni di capacità che impediscono l’implementazione di alta qualità su larga scala. Gli studi più piccoli spesso prendono di mira il campione esatto e desiderabile che produrrebbe i maggiori effetti.

C’è una linea di ragionamento su questo: se, ad esempio, hai un costoso programma educativo sulla diversità che puoi utilizzare solo con un numero limitato di studenti, potresti avere solo una classe e avere studenti che potrebbero trarne il massimo vantaggio. Ciò significa che l’effetto sarebbe probabilmente minore se implementassi l’educazione alla diversità in un gruppo più ampio. Quindi, più in generale, può essere utile pensare a quali cose potrebbero essere diverse se il programma educativo è stato ridimensionato. Ad esempio, è improbabile che piccoli programmi educativi sulla diversità influenzino l’istituzione, la comunità o la società più ampia. Ma se ingrandita, la cultura istituzionale, comunitaria o sociale potrebbe cambiare in risposta.

Allo stesso modo, considera le caratteristiche specifiche del campione, del contesto e dell’implementazione. Come sono arrivati ​​i ricercatori per studiare il programma educativo sulla diversità, compresa l’istituzione e gli studenti che hanno fatto? Ti aspetti che questo campione abbia eseguito risultati migliori o peggiori rispetto al campione che ti interessa? Ad esempio, se fossi interessato a testare l’esito del metodo di insegnamento che uso nel mio corso per conferenze web, la Psicologia della Diversità ad Harvard (ad es. Harvard, web conference, campus) avrebbe potuto influenzare anche i risultati. C’era qualcosa di unico nell’ambientazione che avrebbe potuto rendere i risultati più grandi?

Se lo studio stava valutando un corso educativo sulla diversità, anche il modo in cui questo corso è stato implementato è importante. Ad esempio, supponiamo di sentire che un corso di conferenze Web sulla diversità può migliorare i sentimenti di appartenenza e inclusione degli studenti. Se stavi pensando di implementare un corso simile, vorresti probabilmente conoscere il formato del corso per conferenze web e il contenuto del corso e la formazione del personale docente per valutare se potresti avere risultati diversi.

Potresti anche avere più fiducia nei risultati di uno studio se esiste un meccanismo chiaro che spiega i risultati ed è costante tra le impostazioni. Alcuni risultati in economia comportamentale, ad esempio, suggeriscono che determinate regole del comportamento umano sono cablate. Ma questi meccanismi possono essere difficili da scoprire. E molti esperimenti di economia comportamentale che inizialmente sembravano riflettere una regola hardwired non sono riusciti a replicare, come trovare che la felicità aumenta la pazienza e l’apprendimento.

Ma, se c’è una ragione convincente che ci si potrebbe aspettare di vedere i risultati che uno studio ha trovato, o se c’è una forte ragione teorica che ci si potrebbe aspettare un risultato specifico da generalizzare, ciò dovrebbe portarci a fidarsi dei risultati di un singolo studio un po ‘di più. Ma dovremmo avere cura di esaminare perché pensiamo che ci sia una ragione convincente.

Infine, se sembra troppo bello per essere vero, probabilmente lo è. Questo si basa su un principio delle statistiche bayesiane: le asserzioni più strane dovrebbero richiedere prove più forti per cambiare i propri “priori” o credenze. Se prendiamo sul serio le nostre convinzioni – e c’è ragione di concludere che, in media, gli umani sono abbastanza bravi a fare previsioni – quindi risultati che sembrano improbabili, in realtà sono meno probabili di essere veri.

In conclusione, tutta la ricerca psicologica è soggetta a errore, e quindi i risultati possono variare e non riuscire a replicare. È molto meglio essere consapevoli di ciò che non essere informati degli errori potenzialmente nascosti nella ricerca. Il metodo scientifico è stato sviluppato per attingere al ragionamento empirico per aiutarci a risolvere i casi in cui gli studi variano o non riescono a replicare. L’applicazione del metodo scientifico allo studio del comportamento umano e della psicologia non ha semplificato il comportamento umano; invece, ha suggerito quanto sia complesso il comportamento umano.

Riferimenti

Weissmark, M. (imminente). La scienza della diversità . Oxford University Press, USA.

Weissmark, M. (2004). J ustice Matters: eredità dell’olocausto e della seconda guerra mondiale . Oxford University Press, USA.

Weissmark, M. & Giacomo, D. (1998). Fare in modo efficace la psicoterapia. U niversità di Chicago Press, USA.