Negli ultimi mesi sono stato incuriosito dalla crisi di replica che circonda il campo del social priming. Non faccio ricerche sul social priming, né pretendo di saperne molto su di esso a parte ciò che ho letto. Ma il priming sociale sembra essere uno di questi campi in psicologia che sono considerati tutti, tranne "saggezza ricevuta" per un certo periodo, solo per diventare controverso mentre i nuovi gruppi di ricerca hanno sempre più difficoltà a replicare le scoperte degli aderenti principali.
Mi è stato ricordato questo problema della crisi di replicazione durante la lettura di un nuovo studio dell'Università del Queensland in Australia. I ricercatori Morgan Tear e Mark Nielsen hanno condotto una serie abbastanza tipica di esperimenti in cui i partecipanti hanno giocato a videogiochi violenti e non violenti e sono stati testati in termini di comportamento prosociale o di aiuto utilizzando il compito "pen drop". Se non hai familiarità con questo, in sostanza, l'esperimento fa uno spettacolo di "accidentalmente" far cadere un mucchio di penne e aspetta di vedere se il partecipante aiuta a raccoglierle. I risultati hanno indicato che la riproduzione di videogiochi violenti ha avuto un impatto minimo sull'aiutare il comportamento.
Ora, questa è una replica dei progetti di ricerca "vecchia scuola" (vale a dire pre-the Brown v EMA, Corte Suprema 2011) e ha tutte le verruche tipiche di questi tipi di studi. Studenti universitari che giocano a videogiochi per un intervallo relativamente breve, da soli. Il compito "pen drop", direi, probabilmente è solo vagamente utile per attingere ai tipi di comportamenti prosociali e all'empatia a cui siamo interessati per il mondo reale. Quindi prendilo per quello che vale. Nondimeno, è una replica relativamente semplice di alcuni lavori che sostengono che i giochi violenti riducono questi comportamenti di aiuto e, giocando sulla base di questi studi della vecchia scuola, non replicano le loro scoperte.
Allora, cosa dobbiamo prendere da questo? La questione se i giochi violenti diminuiscano davvero l'aiuto o i comportamenti prosociali rimane controversa. Ciò aggiunge un mucchio di risultati di ricerca già piuttosto misti e, come accennato in precedenza, è davvero difficile generalizzare questi tipi di studi della vecchia scuola sui fenomeni della vita reale (l'opinione della maggioranza della Corte Suprema li ha spazzati via in Brown) v EMA con buone ragioni). Ma la questione di una crisi di replica è potenzialmente illuminante.
Penso che tendiamo a preferire che la scienza, anche la scienza sociale, operi in una sorta di vuoto, protetto dalle pressioni della politica e delle narrative sociali. Ma penso che questo sia sbagliato. Come John Ioannidis ha esposto nel suo classico articolo "Perché la maggior parte delle scoperte pubblicate sono false", è molto comune vedere una idea di ricerca promossa a pieno ritmo nonostante ciò, in senso ontologico, che l'idea di ricerca sia falsa. Soprattutto quando un'idea di ricerca si inserisce in una narrativa sociale preesistente ("i videogiochi violenti sono cattivi") la pressione sulla comunità scientifica per sostenere la narrativa sociale può essere intensa (testimonia il coinvolgimento di Fredric Wertham nello spavento dei fumetti degli anni '50 per esempio). Particolarmente dato il problema di flessibilità metodologica delle scienze sociali in cui una moltitudine di opzioni di analisi dei dati può consentire ai ricercatori, anche agendo in buona fede, di selezionare i risultati che meglio si adattano alle loro ipotesi, probabilmente significa molto poco che alcuni gruppi di ricerca ottengano gli stessi risultati e oltre. La domanda diventa se i gruppi esterni, in particolare quelli che sono più scettici, possono replicare i risultati.
Ovviamente non sono un fisico, ma immagino che in fisica anche una singola replica fallita sarebbe motivo di costernazione. All'interno delle scienze sociali dobbiamo chiederci: quante repliche fallite ci vuole perché una teoria venga falsificata? In questo senso, tecniche come la meta-analisi possono effettivamente essere dannose, direi, correggendo le repliche fallite per un'illusione di coerenza. Immaginiamo, per esempio, di condurre 100 studi su una particolare teoria, tutti della stessa dimensione del campione. La metà di essi ha effetti statisticamente significativi con una dimensione dell'effetto di r = 0,20. Il resto capita di essere esattamente nullo con r = .00. È questo un campo che dovremmo celebrare come saggezza ricevuta? No, direi di no, ma combinare tutto questo in una meta-analisi e ottieni un effetto medio di r = .10 che molti ricercatori sarebbero desiderosi di chiamare (forse self-servicely) come significativi.
Poiché gli autori di questo errore non riescono a replicare, ottenere errori di replica pubblicati può essere difficile. Bisogna chiedersi quanti altri errori da replicare non vedano mai la luce del giorno, dando a noi (e al pubblico in generale) una falsa visione della "verità" dei risultati della ricerca. Esprimo l'opinione che dobbiamo fare di più per cambiare la cultura della psicologia della ricerca che è stata per troppo tempo sfavorevole alla nullità e incapacità di replicare i risultati.
