Psicologia Rife con risultati di ricerca imprecisi

Il caso di uno psicologo olandese che ha fabbricato esperimenti di stoffa intera per almeno un decennio fa brillare i riflettori sui difetti sistemici nel riportare la ricerca psicologica.

Diederik Stapel, uno psicologo ben noto e ampiamente pubblicato nei Paesi Bassi, ha falsificato regolarmente i dati e fatto interi esperimenti, secondo un comitato investigativo.

Ma secondo Benedict Carey del New York Times , lo scandalo è solo uno di una serie di imbarazzi in "un campo che i critici e gli esperti di statistica dicono che ha bisogno di rivedere il modo in cui tratta i risultati della ricerca":

Negli ultimi anni, gli psicologi hanno riportato una serie di risultati sui pregiudizi razziali, sull'imaging cerebrale e persino sulla percezione extrasensoriale che non hanno resistito al controllo ….

• Vita dopo analisi: due anni e conteggio
• Neurofeedback come trattamento per la malattia di Parkinson
• Quando il trauma sconvolge l'amore
• Qual è la diagnosi?
• L'immunità rispecchia la mente diametrica

Il dott. Stapel fu in grado di operare per così tanto tempo, disse il comitato, in larga misura perché era "il signore dei dati", l'unica persona che vide le prove sperimentali che erano state raccolte (o fabbricate). Questo è un problema diffuso in psicologia, ha dichiarato Jelte M. Wicherts, psicologo presso l'Università di Amsterdam. In un recente sondaggio, due terzi degli psicologi della ricerca olandesi hanno dichiarato di non rendere disponibili i dati grezzi per gli altri ricercatori. "Questo è in violazione delle regole etiche stabilite nel campo", ha detto il dott. Wicherts.

In un sondaggio condotto su oltre 2000 psicologi americani che sarebbero stati pubblicati quest'anno, Leslie John della Harvard Business School e due colleghi hanno scoperto che il 70% aveva riconosciuto, in modo anonimo, di tagliare alcuni angoli nel riportare i dati. Circa un terzo ha dichiarato di aver riportato un risultato inaspettato come previsto fin dall'inizio, e circa l'1% ha ammesso di aver falsificato i dati.

Anche comune è una sciatteria statistica self-serving. In un'analisi pubblicata quest'anno, il Dr. Wicherts e Marjan Bakker, anche presso l'Università di Amsterdam, hanno cercato un campione casuale di 281 articoli di psicologia per errori statistici. Hanno scoperto che circa la metà dei giornali in riviste di alto livello conteneva qualche errore statistico, e che circa il 15% di tutti i documenti aveva almeno un errore che modificava un risultato segnalato – quasi sempre in opposizione all'ipotesi degli autori ….

• Fare l'amore: tutte le posizioni
• Prevenire la malattia di Alzheimer, rigenerare il tuo corpo
• Essere un soggetto di Oliver Sacks
• La nuova agenda completa di Hillary sulla salute mentale
• L'arte della diagnosi

Implicazioni forensi

Mentre risultati imprecisi e persino inventati fanno apparire stupidi i campi della psicologia, essi assumono conseguenze potenzialmente molto più gravi in ​​contesti forensi, dove la posta in gioco può includere pagamenti a sei cifre o privazioni estreme della libertà.

Ad esempio, le affermazioni basate sugli studi di brain-scan fMRI sono sempre più permesse in tribunale in contesti criminali e civili. Eppure, un'analisi del 2009 ha rilevato che circa la metà di tali studi pubblicati su importanti riviste scientifiche erano così "seriamente difettosi" che ammontavano alla scienza voodoo che "non dovrebbe essere creduto".

Allo stesso modo, il ricercatore Jay Singh e colleghi hanno scoperto che le meta-analisi che dimostrano l'efficacia degli strumenti utilizzati per prevedere chi sarà violento in futuro sono afflitti da problemi, inclusa la mancata descrizione delle procedure di ricerca, mancata verifica della sovrapposizione di campioni o bias di pubblicazione, mancata investigazione della confusione dell'eterogeneità del campione e uso di una tecnica statistica problematica, l'Area sotto la curva (AUC), per misurare l'accuratezza predittiva.

Particolarmente preoccupante per me è uno studio nuovo di zecca che rileva che la disponibilità dei ricercatori a condividere i loro dati è direttamente correlata con la forza delle prove e la qualità della segnalazione dei risultati statistici. (L'analisi è disponibile online dalla rivista PloS ONE.)

Ho sentito parlare di diversi ricercatori nel campo della valutazione del rischio di reati sessuali che ostinatamente resistono agli sforzi di altri ricercatori per ottenere i loro dati per la rianalisi. Come notato dal Dr. Wicherts, lo psicologo dell'Università di Amsterdam, questa è una violazione delle regole etiche. Ancora più importante, ci rende impossibile fidarci dell'affidabilità e della validità delle affermazioni di questi ricercatori. Nonostante questo, gli strumenti potenzialmente inaffidabili – alcuni dei quali nemmeno pubblicati – vengono sistematicamente introdotti in tribunale per stabilire future pericolosità.

I critici affermano che i diffusi problemi nel campo sostengono con forza la necessità di riforme obbligatorie, compresa la definizione di politiche che richiedono che i ricercatori archivino i loro dati per renderli disponibili per l'ispezione e l'analisi da parte di altri. Questa riforma è importante per la credibilità della psicologia in generale, ma assolutamente essenziale nella psicologia forense.