La scienza dovrebbe essere autocorrettiva. Eppure negli ultimi anni in alcune aree – la biomedicina e le scienze sociali, in particolare – il processo sembra fallire. Molti studi pubblicati si basano su metodi imperfetti o addirittura su frodi. Una causa sono i cattivi incentivi in base ai quali operano la maggior parte degli scienziati. Ma un problema più profondo, non facilmente curabile, è che la scienza, come ogni altra attività umana, può essere soggetta a rendimenti decrescenti.
Un grave fallimento è la cosiddetta crisi di replica: i ricercatori della scienza sociale e biomedica non possono ripetere in modo affidabile un esperimento e ottenere lo stesso risultato. Poiché la replicabilità è il criterio per la verità nella scienza sperimentale, la mancata replica è un problema serio. Nel 2016 la prestigiosa rivista scientifica internazionale Nature ha pubblicato un sondaggio che ha dimostrato che “Più del 70% dei ricercatori ha provato e non è riuscito a riprodurre gli esperimenti di un altro scienziato, e più della metà non ha riprodotto i propri esperimenti.” Nel 2011 il Wall Street Journal ha descritto come la società farmaceutica Bayer abbia tentato di replicare un numero di studi sulle droghe e fallito quasi i due terzi del tempo. La situazione potrebbe essere anche peggiore di quanto suggerito da questi risultati, perché nelle scienze sociali, in particolare, raramente si tenta di replicare. Ne consegue che molte conclusioni su dieta, droghe, pregiudizi, pregiudizi e il modo giusto di insegnare – sono false.
I risultati errati sono necessariamente la base per pratiche imperfette e il perseguimento di vicoli ciechi scientifici. Il ricercatore A impara dalla letteratura, che X è vero. Egli deduce che se X è vero, allora Y deve seguire. Esamina (di solito inadeguatamente) Y e trova che sia vero … Risciacquare e ripetere con il ricercatore B e trovare Y … Se X è in realtà falso, questa traccia non porta da nessuna parte. La ricerca difettosa non è qualcosa che può essere ignorata: ha un costo reale e potenzialmente crescente.
Come vengono pubblicate le scoperte false? Un paio di esempi possono aiutare. Il professor Brian Wansink è a capo del Food and Brand Lab della Cornell University. Il laboratorio ha avuto una serie di problemi; diversi documenti pubblicati hanno dovuto essere ritirati. Uno dei problemi più banali dei laboratori è questo (da The Chronicle of Higher Education .):
Wansink ei suoi colleghi ricercatori avevano trascorso un mese a raccogliere informazioni sui sentimenti e il comportamento dei commensali in un ristorante italiano a buffet. Sfortunatamente, i loro risultati non hanno supportato l’ipotesi originale. “Questo ci è costato molto tempo e il nostro denaro da raccogliere”, ha ricordato Wansink raccontando al dottorando. “Deve esserci qualcosa qui che possiamo salvare.”
Quattro pubblicazioni sono emerse dallo studio del buffet “recuperato”.
Il vero problema, la probabile fonte di tutti gli altri problemi di Wansink, potrebbe essere la spinta a produrre pubblicazioni. Con questo provvedimento, il suo gruppo di ricerca ha un enorme successo: 178 articoli di riviste peer-reviewed, 10 libri e 44 capitoli di libri nel solo 2014.
La spinta a pubblicare non è limitata al Professor Wansink. È universale nella scienza accademica, specialmente tra i giovani ricercatori in cerca di promozione e borse di ricerca. Un modo per incrementare gli elenchi di pubblicazioni è aggiungere autori: i documenti multi-autore sono molto aumentati negli ultimi anni. Un altro è quello di pubblicare non appena si ottiene un risultato ‘significativo’. L’LPU (“unità meno pubblicabile”), una perenne battuta tra i ricercatori, è quel quantomeno sfuggente e irriducibile dei risultati che sarà sufficiente per una pubblicazione. È nata una nuova industria di riviste “pop-up” per soddisfare questa esigenza di pubblicazione.
Ecco un altro esempio, da un recente blog scientifico. Il problema era il cosiddetto livello di significatività che un ricercatore dovrebbe usare come criterio per la verità del suo risultato. Se la probabilità che il risultato si verifichi per caso è inferiore a X%, allora può accettarlo come vero: il 5% è il valore convenzionale per X. La risposta (corretta) dell’esperto era la seguente: “Non esiste un riferimento autorevole per l’utilizzo 0,05 come livello di significatività. Al contrario … il livello di significatività deve essere scelto in base all’intero contesto … “Lo standard del 5% è troppo generoso, come risulta.
Ma più rivelatrice della risposta è la domanda – da un gentiluomo non imbarazzato all’Università di Oslo: “Come posso giustificare l’uso del significato al 10%?” In altre parole, questo ragazzo non è interessato alla verità del suo risultato , ma in che cosa occorrerebbe per farlo pubblicare. È difficile immaginare una dimostrazione più chiara del declino del metodo scientifico.
Perché questa unità di pubblicare? La maggior parte dei ricercatori ora sono impiegati salariati. Hanno bisogno di pubblicazioni perché è così che vengono valutate. Il problema è che in qualsiasi momento il numero di aperture scientifiche, di domande fruttuose – domande che portano a nuove intuizioni, non vicoli ciechi – è limitato. Potrebbe non aver tenuto il passo con la domanda. Potrebbero esserci troppe poche domande per il numero di scienziati in cerca. Che cosa, quindi, determina il numero di scienziati?
Nel 1945 Vannevar Bush, ingegnere e intellettuale pubblico, scrisse un rapporto influente che portò alla creazione della National Science Foundation. In SCIENCE, Endless Frontier Bush ha dichiarato: “Il progresso scientifico su un fronte ampio risulta dal libero gioco di intellettuali liberi, lavorando su argomenti di loro scelta, nel modo dettato dalla loro curiosità per l’esplorazione dell’ignoto.” [Enfasi] Bush credeva che il campo della scienza fosse essenzialmente infinito, che le opportunità di fare nuove scoperte fossero illimitate. In breve: più scienziati sono, meglio è!
Ma è vero? L’ambiziosa richiesta di Bush è stata recentemente attaccata, in parte a causa della crisi di replica e di altri problemi con il prodotto di ricerca che ho appena descritto. Sono stati fatti tentativi per porre rimedio a questi problemi, ma la loro fonte potrebbe essere al di fuori del nostro controllo.
I cattivi incentivi fanno parte del problema, ma la scarsa struttura di incentivi della scienza moderna può essere un effetto piuttosto che la causa alla radice. La vera causa potrebbe essere la natura della scienza stessa. Vannevar Bush prometteva progressi scientifici su un “ampio fronte”. “Largo”, sì, ma non infinito. Quando ogni problema è risolto, nuove domande si aprono. Potrebbe non esserci fine a questo processo, ma il numero di linee di ricerca fruttuose in un dato momento potrebbe essere finito. La reazione naturale a questo può essere un allentamento degli standard scientifici. Il numero crescente di passi falsi scientifici che abbiamo visto negli ultimi anni potrebbe non essere solo una testimonianza della fragilità umana, ma un riflesso del fatto che il numero di linee di ricerca fruttuose non ha tenuto il passo con il crescente numero di scienziati.
Questa disparità non è disastrosa. Ci sono ancora risposte da trovare; il progresso continua Ma la mancata corrispondenza significa che aumenterà il rapporto tra gli esperimenti non riusciti e quelli riusciti.
Il fallimento nella scienza è un suicidio di carriera
Un alto tasso di insuccesso non è di per sé un problema, scientificamente parlando. Il fallimento è OK; è una parte necessaria della scienza. Il problema è che il fallimento ripetuto non è compatibile con l’avanzamento di carriera. La scienza è ora per la maggior parte degli scienziati una carriera non una vocazione. I fallimenti sono essenziali per il progresso scientifico. Molti dei maggiori progressi della scienza, dalla teoria di Darwin al bosone di Higgs, sono arrivati solo dopo molti anni di ricerca spesso infruttuosa per confermare le prove. Darwin potrebbe persistere perché era ricco in modo indipendente. La ricerca di Higgs faceva parte dell’impresa collettiva del Large Hadron Collider, un investimento necessariamente a lungo termine. Ma il fallimento, in particolare l’insuccesso individuale, non funziona bene con gli amministratori di ricerca. Uno scienziato ambizioso non può permettersi di fallire.
E questo ha creato un problema importante, che minaccia di erodere le basi stesse della scienza. Ricercatori ansiosi saranno attratti da metodi di ricerca che sembrano abbastanza scientifici per diventare una pratica accettata, ma sono garantiti per ottenere risultati pubblicabili almeno una parte del tempo.
In altre parole, la crisi della replicazione e altri problemi della scienza, come l’apparente rallentamento del tasso di scoperta di nuovi farmaci terapeutici, possono riflettere qualcosa di più della suscettibilità umana a cattivi incentivi. Forse il problema non sono le persone, ma la natura? Forse ci sono semplicemente troppi scienziati per il numero di problemi solubili disponibili? Forse abbiamo preso il frutto basso e quello che rimane è troppo difficile da raccogliere senza abbandonare il rigore?
Può esserci troppa cosa. Deve esserci un numero ottimale di scienziati che rappresenta meno del 100% della popolazione adulta. Oltre questo numero ottimale, la comunità scientifica inizierà a generare rumore piuttosto che segnale e l’avanzamento è impedito. Siamo a quel punto ora in settori come le scienze sociali e la biomedicina? La prosa ispiratrice di Vannevar Bush era appropriata alla fine della seconda guerra mondiale e portò a grandi progressi nella scienza pura e applicata sostenuta dal governo. Ma la situazione ora potrebbe essere molto diversa. Dovremmo almeno riflettere se non abbiamo bisogno di più, ma meno, scienziati sociali e biomedici.
