Il P-Hack Rap

Come migliorare la scienza psicologica Una canzone hip hop alla volta

Questo è un post per gli ospiti di Daniel Rosenfeld, un laureato in psicologia e direttore di laboratorio presso la Cornell University. La sua ricerca si concentra sulla scelta del cibo, sulla moralità e sull’identità, con particolare attenzione al vegetarismo.

Se si preferisce avere diritto al rap, c’è un vero video su YouTube di un vero rap, The P-Hack Rap, a circa 3/4 della via verso il basso.

————-

Sono uno studente universitario. Ho solo due anni di esperienza nella conduzione di ricerche psicologiche. In questo breve periodo, tuttavia, ho sviluppato un immenso apprezzamento per l’ampia portata, i risultati significativi e le implicazioni pratiche della scienza psicologica. Ma ho anche imparato a conoscere la riproducibilità scientifica – e sono piuttosto preoccupato.

• Il pregiudizio umano nella macchina di intelligenza artificiale
• Come usare coincidenze significative
• Come essere senza paura senza essere sciocco
• Identificazione di punti ciechi e comportamenti di auto-sabotaggio
• 7 Elementi spirituali fondamentali per il recupero delle dipendenze

La crisi della replica

Fonte: Lee Jussim

• 6 semplici modi per coltivare il pensiero positivo oggi!
• The Psychology of Political Division
• Flat Earthers: Conspiracy Thinking on a Global Scale
• Scavando più in profondità con i consorti eterosessuali – Parte II
• La scienza del pensiero antiscientifico

Sono preoccupato di come noi, come campo, formeremo una generazione emergente di studiosi. Sono preoccupato che gli sforzi mirabili per risolvere una “crisi di replica” non raggiungeranno abbastanza laici, inclusi altri studenti universitari. Sono preoccupato che gli scienziati psicologi emergenti di oggi mancheranno molte delle conversazioni che daranno forma al futuro della loro disciplina.

Allo stesso tempo, sono ottimista. Nel passato semestre, ho completato un seminario incentrato sui sette peccati capitali della psicologia di Chris Chambers e discutendo i dilemmi metodologici, statistici ed etici nella ricerca psicologica. Ho imparato a conoscere i movimenti emergenti verso la scienza aperta – che, in una miriade di modi, cerca di spostare la scienza psicologica fuori dall’ombra dei laboratori di ricerca proprietari (dove le ipotesi originali, la narrazione post-hoc, le pratiche, le decisioni statistiche e il set completo di metodi sono tenuti a porte chiuse, conosciuti solo da quel laboratorio) e nella luce del giorno (dove tutti possono vedere – e, in modo cruciale, esaminare per errori e pregiudizi, e tentare di replicare usando metodi vicini allo studio originale). Una di queste pratiche è la preregistrazione. La pre-registrazione coinvolge i ricercatori che preparano un documento scritto identificando le loro ipotesi originali e le analisi pianificate; è importante perché la pre-registrazione rende il set completo di pratiche molto più trasparenti e, a volte, disponibili pubblicamente. Rende trasparenti esattamente quali ipotesi sono state testate a priori e quali sono state esplorative, consentendo in tal modo ai consumatori di quella ricerca (compresi altri scienziati) di avere un senso migliore di quali risultati sono più credibili e che sono più incerti.

P-Hacking: la ricerca del “significato statistico”

Ho imparato che noi, come individui e come campo, possiamo affrontare questioni urgenti che minacciano la validità scientifica rivedendo i modi normativi di condurre la ricerca. Qui, vorrei condividere la mia prospettiva su un argomento discusso in modo approfondito nel mio seminario: il concetto di “p-hacking”.

Fonte: Lee Jussim

Per i lettori laici: la “p” in p-value significa probabilità, e uno sotto .05 è tipicamente indicato come “statisticamente significativo”. I valori P sono solitamente ottenuti quando i ricercatori confrontano le condizioni sperimentali o le correlazioni di calcolo. Senza entrare troppo nel dettaglio, se vengono soddisfatti tutti i tipi di ipotesi, un valore p è la probabilità di trovare una differenza o correlazione osservata (o anche una più grande) per caso, se davvero (nel mondo più ampio) c’è nessuna differenza o nessuna correlazione.

I valori di P sotto 0,05 sono spesso intesi come “eureka, i miei risultati sono reali!” Perché si credeva erroneamente che significasse “i miei risultati sono sistematici e validi, non sono dovuti a casualità!” (Non significa una di queste cose, ma questo è un blog per un altro giorno). Ciò che è importante, tuttavia, è che fino a poco tempo fa era quasi impossibile per gli scienziati psicologi pubblicare le loro scoperte senza un p <.05, cioè un risultato "statisticamente significativo". E, naturalmente, nel mondo della scienza accademica, è "pubblicare o perire" – nel senso che i ricercatori di psicologia sono altamente incentivati ​​a "raggiungere" significatività statistica, che alcuni fanno con ogni mezzo possibile. Alcuni di questi mezzi sono scientificamente validi – come ottenere campioni molto grandi; questo "funziona" perché i campioni di grandi dimensioni hanno un "potere" più statistico e quindi hanno maggiori probabilità di produrre risultati significativi. Ma alcuni mezzi non sono così sani.

Il che ci porta a fare p-hacking. Immagina di condurre uno studio per testare l’effetto della modalità di lettura da manuale sul rendimento scolastico. Si selezionano studenti da una lezione di psicologia introduttiva, li si fa sostenere un esame e poi li si ordina casualmente in due gruppi. Istruisci il primo gruppo di studenti a leggere tutti i prossimi capitoli di libri di testo tramite il libro di testo stampato e il secondo gruppo a leggere tramite un libro di testo online. Metti alla prova una chiara ipotesi: i lettori di libri di testo online mostreranno maggiori miglioramenti nelle prestazioni nel corso di un mese.

Dopo l’esame di follow-up, si analizzano i dati. Non ci sono state differenze significative nel cambio di prestazioni tra i due gruppi! “Accidenti,” pensi a te stesso, “Questa non può essere la storia. Forse la lettura di un libro di testo online è vantaggiosa solo per gli studenti che hanno ottenuto un punteggio inferiore alla media dell’80% sull’esame di base. “Quindi riesegui le analisi, questa volta escludendo tutti gli studenti che hanno ottenuto un punteggio pari o superiore all’80% al basale e un risultato significativo : un valore p di 0,04. Scrivete questo, concludete che gli studenti con prestazioni inferiori alla media che leggono libri di testo online mostrano maggiori miglioramenti accademici e inviano il vostro manoscritto per la revisione.

Sembra che il tuo studio abbia funzionato, ma solo con l’aiuto di p-hacking. Colloquialmente, il p-hacking può essere pensato per noi “cucinare i dati” o “torturare i dati fino a quando non confessano” – non è una frode, nel senso che i ricercatori non stanno inventando dati, ma eseguono così tante diverse analisi sul dati che, quasi inevitabilmente, qualcosa supereranno la soglia 0,05 in “significatività statistica”. Quando il p-hacking è comune, attraverso un intero corpo di letteratura scientifica, le linee tra i fenomeni stabiliti e il semplice rumore statistico possono diventare completamente sfocate.

Come campo, abbiamo bisogno di modi creativi per coinvolgere una generazione emergente di studiosi nelle attuali conversazioni sulla replicabilità scientifica. Sono in atto sforzi per rendere la ricerca psicologica più trasparente, in modo che i problemi e gli errori possano essere più facilmente identificati e, quindi, rendere le sue scoperte più riproducibili. Come ora vediamo gli psicologi che celebrano le repliche dirette preregistrate dei loro laboratori sui social media, abbiamo molto da guadagnare insegnando agli studiosi di domani sui benefici della metodologia aperta e solida.

Combinando il mio coinvolgimento nella ricerca con la mia passione per l’hip-hop, ho scritto un rap su p-hacking.

Godere.

Il P-Hack Rap

Sto cercando di pubblicare su riviste

Questo ha un grande impatto

Ma abbastanza spesso, infatti

I metodi sono lontani dall’essere intatti

Con un p-hack lo vediamo

Ci manca un adeguato test a priori

Ma in un sistema in cui novità

È visto come la cosa migliore

La validità vola fuori dalla porta

Mentre testiamo i moderatori e altro ancora

Perdi la vista della realtà

Temendo uno stivale attraverso la porta

Temendo di essere quella persona

Chi ha un indice H basso

Perché le loro analisi erano pulite

Con le statistiche morali come Windex

Bloccato ottenendo risultati nulli

Non si attacca alla rilegatura

Condizioni che definiscono

Qualsiasi ipotesi in qualsiasi momento

Forse cancella questo outlier

Solo uno, solo per provarlo

E inconsapevolmente soccombere

A pura distorsione di conferma

O si può iniziare a ipotizzare

Dopo che i risultati sono noti

Solo per fare un romanzo

Quello in realtà è esagerato

Come un pescatore nel mare

Si può annotare per falsi positivi

Scopri una nuova scoperta

Quando in realtà è il contrario

Cercare dati come se fosse una miniera d’oro

Cercando di guadagnare un buon merito

Hai bisogno di un ap in meno di .05

Perché è pubblicare o perire

Insieme possiamo rivedere

Norme e sistemi convenzionali

Come campo possiamo alzarci

Verso la saggezza metodologica

Abbiamo bisogno di maggiore trasparenza

Per battere questa crisi di replica

Per superare i pregiudizi che emergono

Se lasciato ai nostri stessi dispositivi opachi

La revisione inizia con nuove visioni

Che accendono nuove accensioni

La preregistrazione rivelerà

Tutte quelle decisioni post hoc

—————————

Se ti è piaciuto, potresti anche goderti questo poema:

Graduate Students Revenge

Lee Jussim tweets come PsychRabble, e puoi seguirlo qui: https://twitter.com/PsychRabble dove tratta i temi della riforma della scienza, della diversità, dei pregiudizi, degli stereotipi, della discriminazione e della psicologia politica.