Tutti i navigatori di Twitter parlano di pre-registrazione: l'idea che gli scienziati debbano presentare il loro piano di ricerca e ottenerlo approvato prima di raccogliere i dati.
Ci sono due (o più?) Lati del dibattito; un lato dice che dobbiamo fermare i ricercatori che segnalano in modo selettivo i dati che raccontano una buona storia e che non segnalano convenientemente misure, o interi studi, che non lo fanno. L'altro dice che la preregistrazione semplicemente non funziona per alcune forme di indagine e lega le mani dei ricercatori che vogliono la libertà di modificare lo studio 2 dopo aver visto i risultati dello studio 1, ecc. Puoi leggere le due parti qui e qui, e dai un'occhiata a questa versione di Storify del dibattito qui.
La perquisizione è un caso di regolamento da manuale. È un insieme di regole progettate per impedire alle persone e / o alle istituzioni di impegnarsi in pratiche che li aiutino ma danneggiano la società. Non vogliamo che le persone "ingannino" con i loro dati, quindi adottiamo regolamenti volti a prevenire imbrogli.
Non ho problemi con la regolamentazione. Regolerei le stronzate di Wall Street e delle compagnie petrolifere se fossi in carica. Ma ho alcune preoccupazioni sulla preregistrazione.
1. Fiducia. Regolare gli psicologi è come andare all'APS e mettere su un segno grosso e grasso che dice "non ci si deve fidare delle persone".
Forse è vero. Ovviamente alcuni di noi non devono essere considerati attendibili, come hanno dimostrato gli ultimi scandali recenti. Ma penso che la maggior parte di noi sia degna di fiducia. Quando pensiamo a come comportarci con le persone di cui ci fidiamo, forse possiamo cavarcela se istruiamo i nostri studenti e noi stessi sulle migliori pratiche della scienza. A mio parere, questo è uno dei punti in cui la pre-registrazione è valsa la pena. Mi piace fidarmi, ma mi piacerebbe abbandonare un po 'di fiducia per costringere me stesso e gli altri a non scherzare con i dati.
Per quanto riguarda gli imbroglioni di cui non possiamo davvero fidarci, sarà l'assistenza preliminare? Ovviamente no. Ci sono un paio di modi per aggirarlo. In primo luogo, raccogli i tuoi dati e quando ottieni qualcosa di buono, preregistrati i metodi, divertiti con le dita per un po ', quindi sembra che tu stia raccogliendo dati e poi pubblichi i tuoi dati adorabili. Se uno studio produce risultati stupidi, basta non preregistrarlo. O se è troppo impegnativo, segui l'approccio tradizionale: falsi i dati.
2. Le relazioni contraddittorie producono avversari. Quando dici alle persone che non ci si può fidare e che c'è un nuovo sistema progettato per tenerle dritte, il sistema diventa il nemico.
Direi che in questo momento abbiamo una società di scienziati per lo più onorevoli e idealisti che vogliono trovare la verità e fare la cosa giusta. Di nuovo, è una questione di fiducia, ma odio vedere i sentimenti di decadenza morale degli scienziati perché vedono il regolamento come responsabile invece di se stessi.
Sono preoccupato che gli studenti laureati in arrivo vedranno la preregistrazione come un avversario e un dolore al collo. Ci sono modi per giocare praticamente su QUALSIASI sistema, e sarebbe ingenuo pensare che non ci saranno modi per preregistrare la partita.
3. La selettività è buona. Faccio molti studi Alcuni non sono fantastici. Forse erano idee stupide per cominciare o forse hanno risultati noiosi e indeterminati. Se vado in psicologia e dico alla gente di questi studi, per qualche ragione che non riesco a capire, sembrano sempre addormentarsi immediatamente.
Questo è male per me e per i miei amici, cioè per autori e lettori. Innanzitutto, se preregistro qualcosa che finisce per essere noioso, devo passare il mio tempo a scriverlo, e non ho abbastanza tempo per scrivere le cose buone come sono adesso, e molto meno le cose noiose. Non sto cercando di nascondere risultati sbagliati, preferisco semplicemente passare il mio tempo a risultati che potrebbero contribuire alla letteratura.
Secondo, c'è già modo di leggere molti articoli; l'ultima cosa che voglio è che gli articoli preregistrati inizino a uscire anche se i risultati sono noiosi. Inoltre, temo che le persone inizieranno a formare un'associazione tra "articolo preregistrato" e "articolo con risultati noiosi". Non che i buoni articoli non saranno preregistrati, ma ne faranno anche molti noiosi.
Tutto ciò per dire, ancora una volta, riguarda la fiducia. Se credi in me, lascia che ti concentri sui miei migliori studi. Fidati che non nasconderò quelli che confutano le mie teorie, nasconderò solo quelle noiose.
La controargomentazione a questo ultimo punto è buona: cosa succede se faccio 50 studi non imparentati e uno mostra un pazzo risultato di priming sociale quindi lo pubblico solo? Da un punto di vista scientifico, sono fondamentalmente Freddy Kruger. Quindi forse la preregistrazione vince questa sezione del dibattito.
4. Un sacco di buoni studi sono stati fatti senza preregistrazione. Se si mettono fuori legge le pistole, solo i fuorilegge avranno armi da fuoco, e se si mettono fuori legge gli studi non preregistrati, solo i fuorilegge faranno studi non preregistrati. In altre parole, non tutti decidiamo che gli studi non preregistrati siano cattivi. Neurocrito ha una proposta per alcuni nuovi distintivi di ricerca.
5. Burocrazia. Per poter preregistrare, devi scrivere studi che potrebbero risultare noiosi, e devi inviarli e, a seconda della situazione, devono essere esaminati e approvati prima che tu debba condurre lo studio.
In altre parole, se voglio fare uno studio, potrei affrontare la seguente scelta:
Arghh. La preregistrazione avrebbe tolto tutto il divertimento alla scienza!
Potrebbe sembrare infantile, ma siamo onesti: probabilmente odi un sacco di regole amministrative e / o burocratiche che ritieni siano solo burocrazia. Devi segnalare questo all'amministrazione o al reparto; devi chiarirlo con l'IRS. Ma molte di queste regole e procedure probabilmente sono valse la pena quando sono state proposte. La preregistrazione finirà per sembrare più burocrazia in un processo di pubblicazione già lento? Di nuovo, dipende da come funziona. Ma il pericolo è sicuramente lì.
In breve , direi che non iniziamo a derogare agli studi che non erano ancora stati registrati. E riconosciamo che la preregistrazione potrebbe avere conseguenze non intenzionali, compresa una progressiva riduzione della fiducia e della responsabilità tra gli scienziati e un progressivo aumento della burocrazia.
Ma non so di cosa sto parlando. La mia raccomandazione? Proviamo tutti i preregistration e vediamo come funziona.
Seguimi su Twitter.