Il blog di oggi è co-autore di Rosa Cao, Ph.D. (RC abbreviato sotto, [email protected]). La Dott.ssa Cao ha ricevuto il suo dottorato. in neuroscienza dal Massachusetts Institute of Technology nel 2010, studiando il ruolo del flusso sanguigno nell'elaborazione delle informazioni nel cervello. Successivamente ha completato una borsa di studio post dottorato con il dott. Daniel Dennett presso la Tufts University, concentrandosi sui problemi fondamentali della filosofia della mente e della filosofia delle neuroscienze. Attualmente è Assistant Professor presso l'Indiana University, conducendo ricerche su Filosofia della mente, Filosofia della neuroscienza, Filosofia della biologia e Scienze cognitive.
Sean Luo (SL): Il tema di interesse oggi è il ruolo della replicazione nella scienza, in particolare le scienze del cervello, e il ruolo della replicazione dei risultati scientifici come applicato alla pratica medica. Questo è un argomento che ha avuto maggiore visibilità negli ultimi anni, sia nella comunità scientifica (qui, qui), sia nella stampa laica (qui, qui e qui).
Le scoperte scientifiche hanno iniziato a sviluppare una reputazione pubblica di inaffidabilità. I risultati di ampi studi clinici sono spesso invertiti in uno studio successivo, con sorpresa di molti. Molto spesso i risultati di laboratorio di base, in particolare quelli che si ritiene siano spettacolari all'inizio, non possono essere replicati. Nel campo della psicologia e delle scienze cognitive, questo problema è diventato particolarmente pernicioso e controverso.
Per affrontare questi problemi, l'Istituto Nazionale della Sanità ha iniziato a progettare meccanismi di finanziamento formale per la replicazione, che è stato molto raro in passato.
Quali sono i tuoi pensieri come filosofo che lavora all'intersezione tra filosofia della scienza e filosofia della mente?
Rosa Cao (RC): Penso che la replicazione sia sottovalutata. Non fraintendermi, è una specie di standard minimo, e certamente dovremmo preoccuparci di diminuire le dimensioni dell'effetto in psicologia. Ma alla fine, ciò che importa è se gli esperimenti mostrano ciò che intendono mostrare. Aumentando la dimensione del campione, le repliche riuscite aumentano la credibilità dei dati effettivi. Ma non ci aiuterà se la configurazione originale fosse difettosa nella progettazione e non correggerà un'interpretazione errata dei dati.
La replica è pensata per essere un controllo di realtà. Stava trovando un colpo di fortuna? Più cinicamente, è in grado di rilevare sia la frode intenzionale che la manipolazione dolorosa e desiderosa dei risultati. Se due gruppi con incentivi diversi producono comunque gli stessi dati, allora possiamo sentirci più sicuri che i risultati non siano distorti dagli incentivi dello sperimentatore, consci o inconsci. Ma la replica non è l'unico, e certamente non è necessariamente il miglior controllo di realtà. Il gold standard in biologia è il meccanismo. Un chiaro meccanismo biologico che produce effetti in modo predicibile conferisce una maggiore credibilità ai nostri risultati.
SL: Osservazione interessante Il problema della replicazione ha due aspetti: c'è una scienza imperfetta e poi ci sono scienziati cattivi.
RC: Chiamare per la replica è interpretato come un'accusa di illecito, e vediamo le persone arrabbiarsi e chiudere i ranghi. Bissell, ad esempio, sostiene in una natura op-ed, che è irresponsabile chiamare le repliche e incolpa i fallimenti della replicazione sull'incompetenza dei potenziali replicatori. Sono solidale con la sua frustrazione – qualcuno che ti dice che la tua ricetta non funziona perché sono cuochi incompetenti. D'altra parte, ciò suggerisce a sua volta che molte scoperte pubblicate sono così fragili che non possiamo trarne molte conclusioni (per non parlare, per esempio, generalizzare dai risultati del mouse a quelli umani).
Ma a volte i risultati non saltano fuori per ragioni innocenti. Sappiamo che i dati sono sempre rumorosi e che la raccolta delle ciliegie, l'interpretazione errata, la cattiva progettazione e così via sono comuni. La replica di per sé non farà un buon lavoro identificando questi problemi o risolvendoli.
A volte l'utilità della replica viene illustrata al meglio dalle repliche di "debunking": un gruppo successivo trova gli stessi dati di un gruppo precedente, ma con un diverso insieme di ipotesi. Questo potrebbe essere il tipo più potente di debunking, ma in senso stretto, è una replica di successo, in cui troviamo gli stessi dati, ma rendiamo conto che merita un'interpretazione diversa da quella originariamente data. Quindi il problema non è la replica, è l' interpretazione .
SL: Quali sono alcuni dei nuovi sviluppi nella filosofia della scienza che sono rilevanti per la nostra discussione attuale?
RC: La filosofia della scienza ai vecchi tempi in cui la fisica era dominante era ossessionata dalle leggi. Ora che le scienze biologiche sono in ascesa, i filosofi hanno iniziato a prestare più attenzione ad altri modi che abbiamo di fare progressi scientifici. Sostengono che ciò che cerchiamo non sono leggi senza eccezioni del tipo trovato in fisica, ma piuttosto generalizzazioni contestualizzate, in cui sappiamo come funziona qualcosa, e funziona la maggior parte del tempo, ma non sempre.
Queste generalizzazioni sono incorporate nelle descrizioni del meccanismo mediante il quale viene prodotto un fenomeno di interesse (vedi Machamer, Darden e Craver paper [1]). Quelli ci permettono di collegare il nuovo fenomeno di interesse a parti e funzioni più semplici che sono già capite, o almeno parzialmente comprese in contesti più ampi. Se sappiamo quali sono le parti e come funzionano queste parti, non possiamo solo fare generalizzazioni, ma possiamo anche stimare quanto siano buone queste generalizzazioni, e qual è il loro scopo, fino a che punto si estendono oltre il contesto sperimentale originale. Queste sono le situazioni che ci interessano davvero. Se un esperimento è perfettamente replicabile, ma solo in laboratorio, allora a cosa serve la medicina, o la nostra comprensione della cognizione "in the wild"?
SL: Molti diversi livelli di analisi sono importanti. La medicina è abbastanza ampia che senza conoscere i meccanismi in dettaglio, possiamo ancora fare inferenze importanti e utili, e dato che il nostro budget per la ricerca è limitato, come dare priorità ai finanziamenti per studiare il meccanismo contro sistematicamente categorizzare e analizzare la fenomenologia, entrambi costosi, diventa critico.
RC: Continuo a pensare che la replicazione in medicina sia davvero un sostituto di seconda classe. Quando – come spesso accade in medicina – non sappiamo ancora come funzioni qualcosa, potremmo accontentarci di una maggiore certezza che funzioni. Idealmente, vogliamo sapere come fa un trattamento medico il suo lavoro. Ma ci accontenteremo di un trattamento efficace che spesso funziona per la maggior parte delle persone, anche se non sappiamo esattamente come.
Forse potresti dire che in medicina non possiamo permetterci di ignorare la fenomenologia. Se un farmaco sembra curare il cancro, abbiamo la responsabilità di credere che lo faccia, e farlo fuori, anche se non sappiamo come funziona. Ma non sapere come potrebbe anche funzionare, cioè la totale mancanza di un meccanismo potenziale, è una prova prima facie contro il risultato, specialmente se è statisticamente debole.
SL: Forse le critiche contro gli esperimenti di psicologia sociale non dovrebbero essere che non si replicano, ma che non si concentrano abbastanza su meccanismi sistematici e rendendo le teorie sottostanti più rigorose.
RC: O forse in qualcosa come la psicologia sociale, è troppo difficile cercare un meccanismo. Non sappiamo abbastanza su come le parti biologiche (cellule, trasmettitori, ecc.) Riescano a produrre comportamenti sociali complessi. Ma forse questa è una buona ragione per dubitare dell'utilità degli esperimenti di psicologia sociale al di là dei fenomeni relativamente strettamente delineati che indagano direttamente. Per quasi tutti i campi, dobbiamo ricordare a noi stessi che le affermazioni sperimentali spesso non generalizzano tanto quanto vorremmo e sono più affidabili se limitate al fenomeno reale osservato.
SL: Il vero problema che vedo per la ricerca sia nelle scienze biologiche di base, sia nelle scienze biologiche meccanicistiche, sia nella ricerca applicata su soggetti umani, compresi gli studi clinici, è che il numero di ipotesi sta crescendo esponenzialmente. Viviamo nell'era di -omics, quando i segnali derivati da centinaia di migliaia di geni e regioni del cervello possono essere misurati e testati per correlazioni simultaneamente. Facciamo l'ipotesi che il riduzionismo funzioni. Ad esempio, conoscere meglio i circuiti cerebrali coinvolti nella dipendenza può aiutarci ad alleviare l'alcolismo. Ma quale dei milioni di nodi nel circuito è rilevante? Quello che vedo è il problema più difficile che ci attende oggi. La replica è, in qualche modo, una reliquia di un'era della scienza dell'industria casearia, quando le intuizioni potevano essere raccolte da una singola ipotesi e un singolo esperimento.
RC: È vero che siamo di fronte a una proliferazione di entrambe le ipotesi e dei dati. Quindi forse non abbiamo bisogno di repliche nelle aree in cui ora abbiamo enormi dimensioni del campione. Ma queste enormi dimensioni campionarie vanno d'accordo con ipotesi che hanno dimensioni di effetto ridotte – statisticamente significative ma non utili alla fine. La genomica non ci ha ancora insegnato molto su come funzionano le malattie, o come trattarle. Ci ha fornito un quadro estremamente complesso di quali marker sono associati a quali altri indicatori. Questa è un'altra ragione per seguire il meccanismo. Identificando una particolare via neuronale sottostante, o un insieme di molecole e recettori coinvolti, siamo un passo avanti verso la comprensione dei comportamenti umani.
SL: C'è una risposta dall'apprendimento automatico. Dati complessi potrebbero non richiedere la comprensione di tutti i meccanismi sottostanti per produrre prodotti utili e predittivi. Gli algoritmi in grado di rilevare meccanismi che gli esseri umani hanno difficoltà a articolare. E anche se non disponiamo di tutti i meccanismi, possiamo ancora emulare utili funzioni: l'auto di Google è l'esempio perfetto. Sappiamo molto poco su come l'uomo meccanicamente guida un'auto. Il meccanismo riduce la dimensionalità e migliora le prestazioni predittive.
Per riportare la discussione al punto originale, se consideriamo il metodo scientifico come un processo di apprendimento bayesiano, a patto che la "dimensione del campione" (cioè la prova) aumenti, ci avviciniamo asintoticamente alla "risposta giusta" (il meccanismo corretto) . La risposta giusta potrebbe essere semplicemente un modello complesso addestrato su una grande serie di dati piuttosto che su singole ipotesi statistiche.
Ma se ci sono pregiudizi sistematici (per esempio, bias di pubblicazione), questo non è più vero. Quindi, anche con la replica e la modellazione sofisticata, una gran parte delle scoperte scientifiche può ancora diventare piuttosto parziale. Diventare consapevoli e affrontare questi problemi è probabilmente il più importante.
RC: La scienza dovrebbe essere autocorrettiva. Questa è un'altra ragione per andare oltre la sola replicazione. Quando nuovi esperimenti si basano su quelli precedenti (piuttosto che cercare semplicemente di ripeterli), otteniamo un secondo controllo se i risultati precedenti sono affidabili. I metodi più ampiamente praticati sono i più credibili. C'è questo grande vecchio documento di Ian Hacking, in cui dice "se puoi spruzzarli, allora sono reali" [3].
Questa intervista è stata condotta e modificata da e-mail.
RIFERIMENTO
[1] Pensando a Mechanisms, Peter Machamer; Lindley Darden; Carl F. Craver, Philosophy of Science, vol. 67, n. 1. (2000) pp. 1-25.
[2] Riproducibilità: i rischi dell'unità di replica. Mina Bissell, Nature 503, 333-334 (21 novembre 2013) doi: 10.1038 / 503333a
[3] "Siamo completamente convinti della realtà degli elettroni quando abbiamo deciso di costruire – e abbastanza spesso abbiamo successo nella costruzione – nuovi tipi di dispositivi che usano varie proprietà causali degli elettroni per interferire in altre parti più ipotetiche della natura "Ian Hacking (1982). Sperimentazione e realismo scientifico. Temi filosofici 13 (1): 71-87
