Nove anni fa, mi è stato chiesto di iniziare a scrivere un blog per Psychology Today. L’ho fatto per circa sei mesi mentre ero un papà di stare a casa con mia figlia. Poi, sono tornato al lavoro a tempo pieno e il blogging non mi è sembrato importante. Ogni tanto scrivevo qualcosa, ma per l’anniversario di un anno mi ero arreso. Qualche settimana fa, mi è stato chiesto di riavviare il blog e ho accettato con riluttanza.
La riluttanza ha a che fare con 1) Ho abbandonato tutti i social media, quindi dubito che qualcuno leggerà questo – certamente non lo pubblicizzerò. E 2) Quando ho iniziato inizialmente il blog, Psychology Today ha detto che mi avrebbero risarcito in base al numero di lettori. Ho avuto alcuni lettori, e ho eseguito i numeri, e ho capito che dovevo circa 70 centesimi. STO ANCORA ASPETTANDO IL MIO CONTROLLO.
Ho superato il primo perché alcune delle cose che voglio dire in questo (nuovo) blog sono cose che voglio solo pensare e scrivere, quindi non importa se qualcuno lo legge e io ho scritto # 2 solo per poter fare riferimento al ragazzo in Better off Dead che vuole i suoi due dollari.
Quindi, sono tornato.
Una delle cose che sono successe tra allora e ora è che sono diventato un editore. Sono stato nominato direttore associato per la Psicologia dello sviluppo , che è una posizione che ho ricoperto negli ultimi 8 anni (sono ufficialmente terminato alla fine di questo anno solare, ma continuerò a gestire tutti i documenti in sospeso che hanno ricevuto R & R nel 2019 ). Sono stato un Associato Editor per Frontiers in Psicologia dello Sviluppo per 3 anni, e sono stato membro del comitato di redazione di American Psychologist per alcuni anni. Ho anche curato un libro sullo sviluppo cognitivo nei musei per bambini (con la mia meravigliosa co-editrice, Jennifer Jipson) e sto scrivendo un nuovo libro ora.
Ecco cosa ho imparato, il montaggio è difficile. Sei un portiere. Passi molto tempo a lavorare sulle responsabilità di modifica, spesso per una piccola ricompensa. Una volta ho calcolato lo stipendio che ho ricevuto dall’APA per le mie mansioni di editing sulla base di una stima del numero di ore di lavoro; era intorno al salario minimo. Fai arrabbiare un sacco di gente e raramente le persone sono felici – anche quando i documenti sono accettati, gli autori di solito non ti piacciono perché li fai rivedere i loro contributi originali, a volte più di una volta. E non finisce mai – i manoscritti continuano a venire. Non importa quante lettere di azione scrivo, sembra che i nuovi manoscritti entrino allo stesso ritmo. Hai sempre la sensazione di avere un peso che ti costringe a gestire il prossimo manoscritto: sei in parte responsabile delle carriere degli altri.
Ma non sono qui per lamentarmi (beh, lo sono, ma non per questo). Quello di cui voglio davvero parlare è la crisi di replica. Sappiamo tutti di cosa si tratta – molti studi psicologici pubblicati non si replicano. Ci sono numerosi progetti che cercano di replicare gli studi. Alcuni hanno più principi di altri e alcuni hanno più senso di altri. Alcuni si preoccupano solo di ciò che si replica (e quindi dovrebbero essere considerati “scienza”), mentre altri si preoccupano del perché uno studio particolare o non si replica (che è francamente molto più scientifico). Ho molti pensieri su questo, che troverò in altri post, ma oggi voglio parlare di qualcosa che ritengo contribuisca al processo ma non viene menzionato frequentemente.
La psicologia – qualsiasi scienza in realtà – è un piccolo campo. Ci conosciamo tutti. E siamo per lo più amici. Nella psicologia dello sviluppo ci sono persone che mi piacciono e ci sono persone che non conosco bene, ma non ci sono molte persone alle quali non piaccio attivamente (tranne te, Revisore 2 del primo giornale che ho mai presentato ad un giornale nel 1997 , chi ha detto che il giornale era così cattivo che non dovrei essere uno scienziato – so chi sei e non mi piaci). Ma la revisione dovrebbe essere neutrale. Quando invio un manoscritto per la revisione, sto cercando davvero di assicurarmi che le recensioni siano imparziali, che non ci siano relazioni personali tra gli autori e i revisori e che non ci siano conflitti di interesse che potrebbero impedire l’obiettività.
Le agenzie di finanziamento (almeno negli Stati Uniti e in molti altri paesi) ti richiedono di pensare se hai un conflitto di interessi con il richiedente. Non dovresti esaminare una proposta di sussidio di qualcuno con cui hai un conflitto di interessi. È prevenuto. Non dovresti rivedere la concessione del tuo ex studente laureato o del tuo ex mentore, o di persone con cui sei stato co-autore nel passato recente – ti piacciono queste persone e potresti considerare il loro lavoro favorevolmente. Non dovresti rivedere la concessione dei tuoi amici intimi, o amanti (o ex amanti), o partner (o ex partner), o collaboratori. Un responsabile del programma della NSF mi ha descritto una volta come il “test del pigiama”: in pratica, se hai visto la persona in pigiama, non dovresti rivedere la loro proposta. Al di là di ciò che è ovvio, un modo di pensare su questo è il seguente: supponiamo che finisca in una città strana – se puoi chiamare la persona e fare in modo di rimanere a casa loro, non dovresti rivedere la loro borsa di studio.
Quindi, perché questo importa. Lo styleguide dell’APA ne parla a lungo: “In generale, non si dovrebbe rivedere un manoscritto da un collega o un collaboratore, un amico intimo o uno studente recente. Tipicamente, l’editor di azioni non selezionerà le persone per essere revisori in cui questo è ovvio che possa esistere un conflitto di interessi. “(Pp. 17-18) Ma non conosco un diario che imponga agli autori di rivelare i loro conflitti di interesse. E peggio, molte riviste ti incoraggiano a suggerire potenziali revisori. Cosa impedisce a qualcuno di giocare al sistema qui?
Come editor di azioni, ho visto spesso autori che chiedono ai collaboratori di rivedere i loro manoscritti. Ho visto autori (di solito recenti Assistenti Professori) chiedere ai loro consulenti di rivedere il loro manoscritto. Ho visto autori (di solito docenti di Tenured) chiedere ai loro studenti di rivedere i loro manoscritti. Di solito questo è facile da catturare e semplicemente si rifiuta la richiesta. Ma a volte non lo è. A volte un editor di azioni non lo sa, e questo sfugge.
Ecco il caso peggiore in cui mi sono imbattuto: mi è stato chiesto di modificare un documento scritto da un laureato e un mentore. Il mentore era un docente di ruolo con una grande esperienza nella pubblicazione. Il mio manoscritto era abbastanza vicino nella mia zona da poterlo valutare, ma abbastanza lontano dalla mia area che non conoscevo molti dei ricercatori in quel sottocampo. Ho chiesto 5-6 persone. Alcuni erano dalla lista delle richieste degli autori (che era abbastanza lunga), alcuni sono stati generati da me. Dopo una settimana di richieste, non ho ricevuto nessuno.
Così sono tornato, ho letto di nuovo il manoscritto, ho chiesto qualcun altro. Ancora una volta, alcuni erano dalla lista delle richieste degli autori e alcuni sono stati generati da me. La persona che ho chiesto dalla lista di richieste degli autori era un postdoc. Non conoscevo il postdoc, ma in precedenza avevo chiesto al mentore del postdoc (che aveva detto di no), quindi ho pensato che sarebbe stato OK. Il postdoc ha detto sì (come alcune altre persone, quindi ora ho avuto molti revisori).
Ho aspettato e le recensioni sono arrivate. Due respingimenti, una recensione pessimistica e una nuova presentazione. L’accettazione era dal postdoc. La mia opinione era piuttosto negativa, così ho iniziato a scrivere una lettera di rifiuto. Ma la recensione luminosa mi ha davvero impressionato: mi mancava qualcosa? Questa persona sapeva qualcosa che altri non avevano? Questa persona ha pubblicato di più in quest’area? Quindi, ho guardato il CV del postdoc.
OK, tempo di divulgazione completo. Avrei dovuto farlo prima di chiedere il postdoc. Avrei dovuto leggere attentamente il CV. Questo è un mio errore.
Si scopre che il postdoc era un neolaureato dello stesso programma di laurea. E dopo aver scavato un po ‘, ho scoperto che il postdoc e l’autore studente laureato erano amici intimi. L’autore senior sulla carta era nel Ph.D. comitato del postdoc.
Ho scritto una lettera di rifiuto. L’autore senior ha quindi fatto appello. Appelli di rifiuto si verificano nella pubblicazione – questo mi è successo una volta ogni 18 mesi circa – qualcuno che è stato rifiutato avrebbe chiesto l’opportunità di ripresentare. Di solito sono felice di rispondere di sì a queste richieste. Questa è stata la prima volta che ho appiattito un appello.
Ci sono due soluzioni ovvie qui. Il primo è quello di non permettere agli autori di suggerire i revisori. Il secondo è che tutti gli editor di azioni ignorino questi suggerimenti. Il primo potrebbe essere un cambiamento troppo grande per le persone; il secondo sembra duplicato. Quindi, ecco la mia soluzione: se sei un autore di manoscritti e invii quel manoscritto per la pubblicazione, dovresti essere tenuto a dichiarare di non avere alcun conflitto di interessi con nessun recensore che tu consigli. Inoltre, la definizione di “conflitto di interessi” dovrebbe essere articolata dalla rivista. Personalmente mi piacciono le definizioni NSF, ma riconosco che questa è una questione di gusti. Le riviste (in realtà, le case editrici) possono istituire questa soluzione con un piccolo costo.
A proposito, per favore non pensare che questo sia un problema che può essere risolto semplicemente con l’accesso aperto. I diari ad accesso aperto hanno esattamente lo stesso problema. Gli editori non conoscono spesso i conflitti di interesse dei revisori e i revisori potrebbero sapere chi è l’autore per identificare il conflitto. Detto questo, per quanto mi sia piaciuta la mia esperienza con la pubblicazione ad accesso libero (di cui scriverò nelle voci successive, lo prometto), l’unica cosa che mi è piaciuta della mia esperienza come redattore di Frontiers è che i revisori e gli editori erano richiesto di firmare il loro nome. È un buon controllo sul sistema per una serie di motivi.
Forse più riviste dovrebbero richiedere questo. In questo modo, anche se l’editor di azioni non è in grado di rilevare un conflitto di interessi durante lo stato di revisione, potrebbe essere rilevato dopo l’accettazione del manoscritto e una nota. Nel meraviglioso libro sui metodi di ricerca evolutiva di Scott Miller, egli distingue tra pregiudizi sperimentali “non intenzionali” e “intenzionali” – casi in cui gli esperimenti possono influenzare intenzionalmente o involontariamente i risultati dei loro esperimenti (vedi 106 dell’edizione 2018).
Quello che sto suggerendo qui sarebbe un modo per identificare i pregiudizi di pubblicazione involontari, che potrebbero contribuire alla crisi di replica. Gli autori raccomandano i recensori a cui piacciono, non chi arbitrerà la loro scienza oggettivamente. Anche se non ho prove che qualcuno abbia agito in modo non etico nella mia storia, mi chiedo quanto spesso gli autori suggeriscano persone che potrebbero non essere il più obiettivo possibile.
Sottolineo tutto questo per non dire che la scienza dovrebbe essere abbandonata o che la crisi di replica punta a un problema più ampio con la psicologia come scienza. Piuttosto, lo faccio notare per indicare che possiamo fare di meglio. Ma questo è il metodo scientifico – capire i modi in cui ci sbagliamo per avvicinarci a ciò che è giusto. Se l’etica fa parte della scienza, allora avere degli scienziati pensare all’etica potrebbe aiutare con la loro scienza.
