Lo sforzo della riforma della scienza e il suo malcontento

Un controverso saggio di un ex presidente dell'Associazione per la scienza psicologica che invita alla civiltà nelle discussioni scientifiche ha ispirato una grande quantità di commenti da parte di scrittori scientifici sul web. Puoi leggere la mia sinossi del saggio qui; puoi leggere l'intero saggio qui.

Poiché lo status quo nella scienza psicologica include studi, pratiche e scoperte problematiche, e poiché il saggio di Fiske sembrava difendere quello status quo, molti in prima linea nella riforma scientifica fecero eccezione. Perché dovrebbe interessarti? Non è forse la questione della qualità e della credibilità della ricerca scientifica troppo tecnica da comprendere per i laici intelligenti? Primo, niente affatto. La maggior parte dei problemi nella scienza psicologica sono facilmente comprensibili ai non addetti ai lavori, e chiunque suggerisca il contrario ne sta tirando uno veloce (vedi il link sopra). Secondo, la credibilità di tutto ciò che leggi sulla scienza psicologica dipende dalla qualità di quella scienza. Se quella qualità è subottimale, vuoi saperlo (almeno se sei il tipo di persona interessata alla psicologia e preferisci anche credere a cose che sono effettivamente vere, piuttosto che a qualche sconosciuto mix di olio di serpente, aria calda, cattive pratiche e auto-promozione autopromozione).

Molti scrittori di scienze hanno considerato il saggio di Fiske molto più di un appello alla civiltà. Fiske ha accusato coloro che si sono impegnati a criticare la scienza psicologica al di fuori dei punti di contatto tra colleghi affermati come impegnati in azioni ostili e non etiche. Come tale, molti lo hanno interpretato come un tentativo di difendere lo status quo (che molti credono essere disfunzionale) nella scienza psicologica e di proteggerlo da critiche giustificate.

Ecco alcuni di quelli che ritengo siano i commenti migliori e più incisivi sul saggio di Fiske e sulla riforma della scienza più in generale:

• Sleep Paralysis e il soprannaturale
• postambolo
• Dipendenza da rottura
• Fare spazio a tutto: parte 2
• Gli ordini restrittivi di violenza domestica funzionano davvero?

TAMLER SOMMERS (VERYBADWIZARDS.COM, EPISODE 99, nota che si tratta di un podcast e puoi trovare la citazione nel secondo segmento, che inizia circa 20 minuti in):

"Per etica lei intende le cose che mantengono lo status quo e l'istituzione in atto … Dal punto di vista di un estraneo si legge un po 'come,' Voi persone al di fuori del club non mettete in dubbio i nostri metodi, anche se sono oggettivamente discutibili. Devi passare attraverso di noi per farlo e dobbiamo approvare qualsiasi critica che fai della nostra metodologia e delle nostre pratiche ".

ANDREW GELMAN (CHE COSA È ACCADUTO QUI È CHE I VENTI SONO CAMBIATI). L'intero post di Gelman è lungo ma magistrale e ti incoraggio a leggere il tutto. Ecco alcuni estratti:

• Una svolta scientifica sul libero arbitrio
• 18 modi per rendere geloso il tuo partner
• Rilasciati i risultati dello studio di ricerca educativa massiva
• Perché gli uomini emotivamente non disponibili sono così dannatamente desiderabili?
• Costruisci una cultura di squadra per il successo atletico

"La storia breve è che Cuddy, Norton e Fiske hanno fatto un sacco di errori nei dati, il che è un peccato, ma succedono queste cose, e poi quando gli errori sono stati segnalati loro, hanno rifiutato di riconsiderare qualsiasi cosa. La loro teoria sostanziale è così aperta che può spiegare praticamente qualsiasi risultato, qualsiasi interazione in qualsiasi direzione.

"Ed è per questo che gli autori affermano che correggere gli errori" non cambia il

La conclusione del documento "è al tempo stesso ridicola e fin troppo vera. È ridicolo perché una delle affermazioni chiave è interamente basata su un p-value statisticamente significativo che non c'è più. Ma l'affermazione è vera perché la vera "conclusione del giornale" non dipende da nessuno dei suoi dettagli – tutto ciò che conta è che c'è qualcosa, da qualche parte, che ha p inferiore a 0,05, perché è sufficiente renderlo pubblicabile, promuibile afferma "la pervasività e la persistenza dello stereotipo anziano" o qualsiasi altra cosa vogliano pubblicare quel giorno.

Quando gli autori protestano che nessuno degli errori conta davvero, ti rende conto che, in questi progetti, i dati non contano affatto. "

"… sta lavorando all'interno di un paradigma morto. Un paradigma che avrebbe dovuto essere morto negli anni '60, quando Meehl scriveva su tutto questo, ma che sulla scia di Simonsohn, Button et al., Nosek et al., È certamente morto oggi. È il paradigma della teoria open-ended, della pubblicazione nelle migliori riviste e promozioni della stampa popolare e aziendale, basata su risultati "p inferiori a 0,05" ottenuti utilizzando abbondanti gradi di libertà di ricercatore. È il paradigma della teoria che, nelle parole del sociologo Jeremy Freese, è "più vampirico che empirico – incapace di essere ucciso da semplici dati.

"Fiske esprime preoccupazione per le carriere dei suoi amici, carriere che potrebbero essere state danneggiate dalla messa in onda pubblica dei propri errori di ricerca. Ricorda solo che, per ognuna di queste persone, potrebbero esserci altri tre giovani ricercatori che stavano facendo un lavoro serio e attento, ma poi non sono stati scelti per un lavoro o una promozione, perché era troppo difficile competere con altri candidati che lo hanno fatto lavoro sciatto ma appariscente che è stato pubblicato su Psych Science o PPNAS. Funziona in entrambe le direzioni. "

"Fiske è infastidito dai social media, e posso capirlo. È seduta in cima ai media tradizionali. Può pubblicare un articolo su APS Observer e ottenere tutta questa discussione senza dover passare attraverso la peer review; ha il potere di approvare articoli per i prestigiosi Atti della National Academy of Sciences; lavoro da sola e colleghi sono presenti su giornali nazionali, TV, radio e persino discorsi di Ted, o così ho sentito. I media top-down sono amici di Susan Fiske. I social media, però, non ha alcun controllo. Questo deve essere frustrante, e come me stesso un prete di successo dei media tradizionali (sì, anch'io ho pubblicato su riviste accademiche), anch'io posso annoiarmi quando i nuovi arrivati ​​aggirano i canali tradizionali di pubblicazione. Persone come Fiske ed io trascorriamo la nostra vita professionale costruendo una piccola fortuna di monete sotto forma di pubblicazioni e citazioni, ed è doloroso vederlo svalutato, o pensare che ci sia un altro tipo di scrittura in circolazione che può comprare cose che il nostro i soldi della vecchia scuola non possono ".

"Vorrei concludere con un disaccordo chiave che ho con Fiske. Preferisce i forum moderati dove le critiche sono fatte in privato. Preferisco una discussione aperta. Personalmente non sono un fan di Twitter, dove la limitazione dello spazio sembra incoraggiare scambi accesi e spesso contraddittori. Mi piacciono i blog e i commenti sui blog, perché abbiamo abbastanza spazio per spiegarci appieno e dare riferimenti completi a ciò di cui stiamo discutendo ".

E poi c'è stato questo commento killer sul post di Gelman e il saggio di Fiske da una persona che si identificava solo come "Plucky" (che ho contattato e ricevuto il permesso di citare per intero):

PLUCKY'S BULLSEYE (La scienza è un metodo, non una comunità):

Il problema principale di Fiske è questa frase: "In definitiva, la scienza è una comunità, e siamo tutti insieme."

Questo è semplicemente sbagliato, e sbagliato nei modi in cui tutto ciò che hai criticato. La scienza non è una comunità, è un metodo.

Non conosco bene il tuo campo, ma conosco bene la politica. Una lettura problematica prioritaria

La lettera di Fiske è che, a meno che non sia stato detto il contesto e il contesto, potrebbe facilmente essere scambiato per il tipo di difese politiche deboli dei gruppi di interesse della varietà degli op-es-scritti-per-lobbisti. La confusione verbale, il tono, la caratterizzazione responsabile-adulto-contro-indisciplinato di una disputa, i buffoni senza nome, il confronto gratuito con il terrorismo e la falsa pretesa di mancare un interesse personale nella lotta sono tutte le stampelle retoriche di argomento politico hack, e dovrebbe essere imbarazzante per un campo scientifico che qualcuno che è apparentemente abbastanza eminente parlerebbe in questo modo. Non è davvero un bell'aspetto per la scienza.

"Ovviamente, la scienza è una cosa praticata dalle persone in collaborazione, attorno alla quale una comunità si formerà naturalmente, ma l'elemento critico dell'autorità e della legittimità dell'impresa è e deve essere che tutte le disposizioni istituzionali siano progettate per contrastare il naturale tendenze della cricca-ishness, del carrierismo, ecc. ed essere continuamente scrutinati per la loro efficacia nel farlo. L'intero punto di concessione del mandato, ad esempio, è proprio quello di proteggere la pratica della scienza dalle macchinazioni della politica e permettere alle persone di fare cose come ammettere di aver perso più di 10 anni inseguendo un fantasma senza perdere il lavoro. Devono essere fatte alcune concessioni alla natura umana, ma la Scienza ei suoi professionisti devono sempre prendere posizione sul fatto che la verità è più importante della reputazione o della carriera di uno scienziato.

"Il problema fondamentale di definire la scienza come" in definitiva … una comunità "è che le comunità generalmente non apprezzano la verità sul benessere dei loro membri (nel senso materiale o emotivo). Lo scopo funzionale di una comunità è proprio quello di fornire supporto, protezione e convalida ai suoi membri. Le comunità il cui scopo dichiarato è altruistico hanno bisogno di impegni molto forti sia individualmente che istituzionalmente per evitare la corruzione, e anche con quegli impegni la lotta per evitare la corruzione è eterna e non ha mai pienamente successo. Data la descrizione degli interessi di ricerca del Dr. Fiske, dovrebbe saperlo meglio di chiunque altro. "

TAL YARKONI (NON C'È PROBLEMA "TONE" IN PSICOLOGIA)

"Non c'è niente di sbagliato nel tono generale del nostro discorso in psicologia al momento.

"Anche se c'era qualcosa di sbagliato nel tono del nostro discorso, sarebbe profondamente controproducente sprecare il nostro tempo a parlarne in termini vaghi e generali.
La paura di avere i propri risultati scientifici lacerati da altri non è inusuale o patologica; in realtà è una sensazione completamente normale e salutare per uno scienziato.
Gli appelli all'equità non valgono la pena di prendere sul serio, a meno che l'argomento non sia proposto a livello dell'intera comunità scientifica, piuttosto che solo nella sottocommissione a cui si appartiene. "

"Nessun ricercatore ha il diritto di condurre una carriera di successo senza problemi e senza essere ostacolato da alcuna seria discussione delle loro scoperte. Né i ricercatori della prima infanzia come Alec Beall, il cui lavoro che suggerisce che le donne fertili hanno maggiori probabilità di indossare camicie rosse, sono stati severamente criticati da Andrew Gelman e altri. È deplorevole che incisive critiche pubbliche possano ledere la reputazione e le prospettive di lavoro di coloro il cui lavoro è stato criticato. Ed è anche vero che questo può essere del tutto ingiusto, nel senso che in genere non vi è alcuna ragione particolare per cui queste persone dovrebbero essere criticate e soffrire per questo, mentre altre persone con un corpo di lavoro molto simile rimangono incolume e assicurano lavori di prugne o promozioni.”

Ma ecco la cosa: ciò che non sembra giusto a livello di un individuo è spesso perfettamente equo – o almeno, inevitabile – a livello di una comunità interamente. Non appena si effettua lo zoom da qualsiasi individuo, e si osserva invece il campo della psicologia nel suo complesso, diventa chiaro che i mercati del lavoro e della reputazione sono, in prima approssimazione, un gioco a somma zero. Come hanno notato Gelman e molte altre persone, per ogni persona che non ottiene un lavoro perché il loro giornale è stato criticato da un "replicatore", potrebbero esserci altri tre candidati che non hanno ottenuto un lavoro perché il loro lavoro molto più metodologicamente troppo lungo per pubblicare e / o non poteva impilare in apparenza il lavoro di PR che ha vinto la lotteria di lavoro.

"… l'idea che una scoperta pubblicata in una delle nostre riviste dovrebbe essere considerata priva di pregiudizi perché è arrivata prima, mentre una successiva critica o replica di quella scoperta dovrebbe essere scontata a causa di motivazioni personali o altri pregiudizi, francamente, delirante . I pregiudizi sono ovunque; tutti li hanno Anche se questo non significa che dovremmo ignorare, significa che dovremmo o (a) chiamare tutti i pregiudizi ugualmente – che è generalmente impossibile, o per lo meno estremamente poco pratico – o (b) accettare che farlo non sia produttivo, e che il modo migliore per eliminare il pregiudizio a lungo termine è quello di mettere tutti i pregiudizi di ciascuno contro l'altro e lasciare che l'argomento logico ei dati empirici decidano chi ha ragione. "

NEUROSKETTICO (SU "DESTRUCTO-CRITICISMO")

"Supponiamo che Fiske abbia ragione e che alcuni individui, pur fingendo di parlare di scienza, siano effettivamente coinvolti nelle molestie personali mirate di particolari scienziati. Se è così, cosa dovremmo fare?

"Secondo me, dovremmo nominare nomi (o pseudonimi!): Dovremmo ritenere responsabili i criminali in riferimento a specifici esempi dei loro attacchi. Dopotutto, queste persone (dice Fiske) sono dei viziosi prepotenti che si comportano in modo non etico. Se è così, meritano di essere scoperti.

"Eppure Fiske non lo fa. Dice: "Non sto nominando nomi perché le tattiche di stramberia di ad hominem stanno già danneggiando il nostro campo". Ma non è un omicidio ad hominem indicare un caso di bullismo o molestie e dire "questo è sbagliato". Al contrario, sarebbe in piedi per decenza. Se i terroristi sono davvero tra noi, dobbiamo sapere chi sono.

"Un altro motivo per cui penso che Fiske (e chiunque altro in una posizione simile) dovrebbe nominare i nomi è che aiuta a disegnare i confini. Fiske riconosce che non tutti i blogger sono cattivi: "Non tutti i critici auto-nominati si comportano in modo non etico". Allora, chi sono quelli etici? Sarebbe utile conoscere alcuni esempi dei "buoni" critici perché potremmo quindi sapere dove Fiske disegna il confine separando le buone critiche dal male. Allo stato attuale, le denunce di Fiske possono essere facilmente lette come rivolte alla stragrande maggioranza di coloro che discutono di scienze online.

"In sintesi, voglio sapere chi Fiske chiama" destructo-critico ", quindi posso giudicare l'accuratezza dell'etichetta. Sono uno? "

NEUROCHAMBERS (TERRORISMO METODOLOGICO E ALTRI MITI)

"La verità è che siamo nel bel mezzo di una lotta per il potere, e non è tra i" destructo-critici "di Fiske e le loro vittime, ma tra riformatori che cercano disperatamente di migliorare la scienza e l'avanguardia dei tradizionalisti che, ogni tanto, guarda giù dai loro troni per gettare un tronco nella strada. Mentre il numero di repliche fallite continua a salire, una nuova generazione vuole un diverso tipo di scienza e lo vogliono ora. Stanno richiedendo una maggiore trasparenza nelle pratiche di ricerca. Vogliono essere premiati per fare ricerche di alta qualità indipendentemente dai risultati. Vogliono che i ricercatori siano responsabili della qualità del lavoro che producono e delle scelte che fanno come professionisti pubblici. È tutto molto sensato, costruttivo e nell'interesse pubblico ".

NEURONEUROTIC (THE DAY THE PALM HIT THE FACE)

Sono solidale all'idea che la critica faccia male, che dovremmo forse essere più consapevoli di quanto siamo noiosi e frivoli con le nostre critiche, e che c'è un livello di gioia associato a come i fallimenti di replica sono pubblicizzati. Ma c'è anche molta allegria con la quale vengono pubblicizzati articoli ad alto impatto e presentati nelle conferenze TED. Se vuoi che il primo si fermi, forse dovremmo finalmente porre fine alle cazzate.

URI SIMONSOHN (TRE IDEE PER LA CRITICA CIVILE)

Penso che il giornalista dei dati sia una metafora più accurata di quella della polizia dei dati. Come i giornalisti e diversamente dai poliziotti, i blogger (accademici) non hanno poteri fisici né legali, si limitano a esercitare analisi della libertà di parola e opinioni non vincolanti che sono apprezzate dalle persone che scelgono di leggerli (al contrario, noi siamo non libero di ignorare la polizia). Come i giornalisti, il potere dei blogger dipende dall'essere interessante, giusto e persuasivo.

È importante sottolineare che, a differenza dei giornalisti, la maggior parte dei blogger accademici hanno una formazione simile sull'argomento degli autori originali di cui discutono il lavoro, e vivono anche nei loro circoli sociali e professionali. Quindi i blogger sono giornalisti d'élite: più qualificati e meglio incentivati ​​ad avere ragione

BENJAMIN KIRKUP (commentatore sul blog di Simplystatistics.org, Statistical Vitriol)

"Nella biomedicina, le persone stanno combattendo per le loro vite e per la loro immortalità entrambe. Coloro che cercano di mantenere un reddito stabile attraverso le sovvenzioni hanno le spalle contro il muro. Coloro che hanno pubblicato documenti che considerano il loro lascito nei ruoli e negli annali della scienza, hanno forse ancora più in gioco.

"Nella psicologia comportamentale e sociale, c'è anche qualcos'altro in gioco. Leggendo alcuni degli statistici, si parla di come tutti questi pregiudizi inconsci debbano essere considerati come piccoli effetti, motivo per cui i risultati sono notevoli e sorprendenti e probabilmente sbagliati (himmicanes, uragani, posti a sedere di prima classe sull'aereo, manspreading, qualunque cosa). Ma questo manca l'intero punto. Le persone che avanzano queste teorie credono sinceramente che questi pregiudizi sono ENORME e costituiscono una nuova forma di peccato originale che determina le singole azioni umane e le strutture organizzative e istituzionali; che deve essere misurato, riconosciuto, posseduto, contabilizzato, pentito e pagato in mortificazione e penitenza. Dire che gli effetti dovrebbero essere considerati piccoli è fondamentalmente blasfemia. Ora, per attaccare la ricerca come infondata, in particolare sulla base dei priori bayesiani che si rifiutano di vedere tutte le nostre azioni fondate su questo peccato originale, è un conflitto di visione del mondo di base, di religione. Di identità È un conflitto in stile Haidt. Come tutti sanno, attaccando il sostentamento di qualcuno, la loro eredità – e la loro religione?

"Quindi il vetriolo è in retrospettiva auto-esplicativo. Una domanda è se o come districare le statistiche da esso. Ciò richiederebbe un'esplorazione delle alternative, la questione della scienza come un modo di conoscere e così via. La posta in gioco è ovviamente alta. "

LINEE DI FONDO

1. Dubito che la presenza online dei riformatori scientifici sarà scoraggiata dal saggio di Fiske.

2. A mio avviso, è bene per la scienza psicologica che non lo saranno.

3. Fiske ha indubbiamente ragione che alcuni discorsi online tra gli scienziati sono incivili. L'inciviltà è cattiva Sono completamente d'accordo sul fatto che il discorso civile dovrebbe essere incoraggiato e il discorso incivile scoraggiato.

4. Il discorso incivile tra gli accademici precede i nuovi media online, e di routine si verifica nei punti vendita che il suo saggio sosteneva (ad esempio, la revisione tra pari).

5. Molte delle risposte al saggio di Fiske mostrano che i problemi e le disfunzioni nella conduzione della scienza psicologica sono emersi dal vecchio sistema e non sono probabilmente risolvibili senza una riforma sostanziale di quel sistema.

6. Ma nel pantheon dei problemi che affliggono la scienza psicologica, l'inciviltà è l'ultima delle sue preoccupazioni.

Molti credono che la psicologia scientifica sia così piena di pratiche problematiche, che sia diventato difficile o impossibile sapere ciò che è effettivamente vero e ciò che non lo è. È il vecchio sistema che ha prodotto questa crisi. Lo sforzo di riforma scientifica non ha tutte le risposte – ma almeno lo sta cercando.

I tentativi di sopprimere tali critiche sono profondamente disfunzionali.