Questo è un post per gli ospiti di Daniel Rosenfeld, un laureato in psicologia e direttore di laboratorio presso la Cornell University. La sua ricerca si concentra sulla scelta del cibo, sulla moralità e sull’identità, con particolare attenzione al vegetarismo.
Se si preferisce avere diritto al rap, c’è un vero video su YouTube di un vero rap, The P-Hack Rap, a circa 3/4 della via verso il basso.
————-
Sono uno studente universitario. Ho solo due anni di esperienza nella conduzione di ricerche psicologiche. In questo breve periodo, tuttavia, ho sviluppato un immenso apprezzamento per l’ampia portata, i risultati significativi e le implicazioni pratiche della scienza psicologica. Ma ho anche imparato a conoscere la riproducibilità scientifica – e sono piuttosto preoccupato.
La crisi della replica
Fonte: Lee Jussim
Sono preoccupato di come noi, come campo, formeremo una generazione emergente di studiosi. Sono preoccupato che gli sforzi mirabili per risolvere una “crisi di replica” non raggiungeranno abbastanza laici, inclusi altri studenti universitari. Sono preoccupato che gli scienziati psicologi emergenti di oggi mancheranno molte delle conversazioni che daranno forma al futuro della loro disciplina.
Allo stesso tempo, sono ottimista. Nel passato semestre, ho completato un seminario incentrato sui sette peccati capitali della psicologia di Chris Chambers e discutendo i dilemmi metodologici, statistici ed etici nella ricerca psicologica. Ho imparato a conoscere i movimenti emergenti verso la scienza aperta – che, in una miriade di modi, cerca di spostare la scienza psicologica fuori dall’ombra dei laboratori di ricerca proprietari (dove le ipotesi originali, la narrazione post-hoc, le pratiche, le decisioni statistiche e il set completo di metodi sono tenuti a porte chiuse, conosciuti solo da quel laboratorio) e nella luce del giorno (dove tutti possono vedere – e, in modo cruciale, esaminare per errori e pregiudizi, e tentare di replicare usando metodi vicini allo studio originale). Una di queste pratiche è la preregistrazione. La pre-registrazione coinvolge i ricercatori che preparano un documento scritto identificando le loro ipotesi originali e le analisi pianificate; è importante perché la pre-registrazione rende il set completo di pratiche molto più trasparenti e, a volte, disponibili pubblicamente. Rende trasparenti esattamente quali ipotesi sono state testate a priori e quali sono state esplorative, consentendo in tal modo ai consumatori di quella ricerca (compresi altri scienziati) di avere un senso migliore di quali risultati sono più credibili e che sono più incerti.
P-Hacking: la ricerca del “significato statistico”
Ho imparato che noi, come individui e come campo, possiamo affrontare questioni urgenti che minacciano la validità scientifica rivedendo i modi normativi di condurre la ricerca. Qui, vorrei condividere la mia prospettiva su un argomento discusso in modo approfondito nel mio seminario: il concetto di “p-hacking”.
Fonte: Lee Jussim
Per i lettori laici: la “p” in p-value significa probabilità, e uno sotto .05 è tipicamente indicato come “statisticamente significativo”. I valori P sono solitamente ottenuti quando i ricercatori confrontano le condizioni sperimentali o le correlazioni di calcolo. Senza entrare troppo nel dettaglio, se vengono soddisfatti tutti i tipi di ipotesi, un valore p è la probabilità di trovare una differenza o correlazione osservata (o anche una più grande) per caso, se davvero (nel mondo più ampio) c’è nessuna differenza o nessuna correlazione.
I valori di P sotto 0,05 sono spesso intesi come “eureka, i miei risultati sono reali!” Perché si credeva erroneamente che significasse “i miei risultati sono sistematici e validi, non sono dovuti a casualità!” (Non significa una di queste cose, ma questo è un blog per un altro giorno). Ciò che è importante, tuttavia, è che fino a poco tempo fa era quasi impossibile per gli scienziati psicologi pubblicare le loro scoperte senza un p <.05, cioè un risultato "statisticamente significativo". E, naturalmente, nel mondo della scienza accademica, è "pubblicare o perire" – nel senso che i ricercatori di psicologia sono altamente incentivati a "raggiungere" significatività statistica, che alcuni fanno con ogni mezzo possibile. Alcuni di questi mezzi sono scientificamente validi – come ottenere campioni molto grandi; questo "funziona" perché i campioni di grandi dimensioni hanno un "potere" più statistico e quindi hanno maggiori probabilità di produrre risultati significativi. Ma alcuni mezzi non sono così sani.
Il che ci porta a fare p-hacking. Immagina di condurre uno studio per testare l’effetto della modalità di lettura da manuale sul rendimento scolastico. Si selezionano studenti da una lezione di psicologia introduttiva, li si fa sostenere un esame e poi li si ordina casualmente in due gruppi. Istruisci il primo gruppo di studenti a leggere tutti i prossimi capitoli di libri di testo tramite il libro di testo stampato e il secondo gruppo a leggere tramite un libro di testo online. Metti alla prova una chiara ipotesi: i lettori di libri di testo online mostreranno maggiori miglioramenti nelle prestazioni nel corso di un mese.
Dopo l’esame di follow-up, si analizzano i dati. Non ci sono state differenze significative nel cambio di prestazioni tra i due gruppi! “Accidenti,” pensi a te stesso, “Questa non può essere la storia. Forse la lettura di un libro di testo online è vantaggiosa solo per gli studenti che hanno ottenuto un punteggio inferiore alla media dell’80% sull’esame di base. “Quindi riesegui le analisi, questa volta escludendo tutti gli studenti che hanno ottenuto un punteggio pari o superiore all’80% al basale e un risultato significativo : un valore p di 0,04. Scrivete questo, concludete che gli studenti con prestazioni inferiori alla media che leggono libri di testo online mostrano maggiori miglioramenti accademici e inviano il vostro manoscritto per la revisione.
Sembra che il tuo studio abbia funzionato, ma solo con l’aiuto di p-hacking. Colloquialmente, il p-hacking può essere pensato per noi “cucinare i dati” o “torturare i dati fino a quando non confessano” – non è una frode, nel senso che i ricercatori non stanno inventando dati, ma eseguono così tante diverse analisi sul dati che, quasi inevitabilmente, qualcosa supereranno la soglia 0,05 in “significatività statistica”. Quando il p-hacking è comune, attraverso un intero corpo di letteratura scientifica, le linee tra i fenomeni stabiliti e il semplice rumore statistico possono diventare completamente sfocate.
Come campo, abbiamo bisogno di modi creativi per coinvolgere una generazione emergente di studiosi nelle attuali conversazioni sulla replicabilità scientifica. Sono in atto sforzi per rendere la ricerca psicologica più trasparente, in modo che i problemi e gli errori possano essere più facilmente identificati e, quindi, rendere le sue scoperte più riproducibili. Come ora vediamo gli psicologi che celebrano le repliche dirette preregistrate dei loro laboratori sui social media, abbiamo molto da guadagnare insegnando agli studiosi di domani sui benefici della metodologia aperta e solida.
Combinando il mio coinvolgimento nella ricerca con la mia passione per l’hip-hop, ho scritto un rap su p-hacking.
Godere.
Il P-Hack Rap
Sto cercando di pubblicare su riviste
Questo ha un grande impatto
Ma abbastanza spesso, infatti
I metodi sono lontani dall’essere intatti
Con un p-hack lo vediamo
Ci manca un adeguato test a priori
Ma in un sistema in cui novità
È visto come la cosa migliore
La validità vola fuori dalla porta
Mentre testiamo i moderatori e altro ancora
Perdi la vista della realtà
Temendo uno stivale attraverso la porta
Temendo di essere quella persona
Chi ha un indice H basso
Perché le loro analisi erano pulite
Con le statistiche morali come Windex
Bloccato ottenendo risultati nulli
Non si attacca alla rilegatura
Condizioni che definiscono
Qualsiasi ipotesi in qualsiasi momento
Forse cancella questo outlier
Solo uno, solo per provarlo
E inconsapevolmente soccombere
A pura distorsione di conferma
O si può iniziare a ipotizzare
Dopo che i risultati sono noti
Solo per fare un romanzo
Quello in realtà è esagerato
Come un pescatore nel mare
Si può annotare per falsi positivi
Scopri una nuova scoperta
Quando in realtà è il contrario
Cercare dati come se fosse una miniera d’oro
Cercando di guadagnare un buon merito
Hai bisogno di un ap in meno di .05
Perché è pubblicare o perire
Insieme possiamo rivedere
Norme e sistemi convenzionali
Come campo possiamo alzarci
Verso la saggezza metodologica
Abbiamo bisogno di maggiore trasparenza
Per battere questa crisi di replica
Per superare i pregiudizi che emergono
Se lasciato ai nostri stessi dispositivi opachi
La revisione inizia con nuove visioni
Che accendono nuove accensioni
La preregistrazione rivelerà
Tutte quelle decisioni post hoc
—————————
Se ti è piaciuto, potresti anche goderti questo poema:
Graduate Students Revenge
Lee Jussim tweets come PsychRabble, e puoi seguirlo qui: https://twitter.com/PsychRabble dove tratta i temi della riforma della scienza, della diversità, dei pregiudizi, degli stereotipi, della discriminazione e della psicologia politica.