Come potrebbe essere sbagliato il secondo più grande discorso di TED?

Pregiudizie pervasive nella condotta e segnalazione della ricerca potrebbero essere la ragione.

In che modo la scienza al centro del secondo TED talk più visto nella storia risulta essere imperfetto? Il discorso in questione è quindi la conferenza del 2012 della professoressa di Harvard Business School Amy Cuddy su “Power Poses”. In essa riporta che l’adozione di pose come stare con le gambe aperte e le mani sui fianchi cambia i livelli ormonali in modo da aumentare la fiducia e ridurre lo stress. Questo lavoro è stato citato molte volte, in particolare nell’iniziativa Lean In di Sheryl Sandberg.

Nel 2016, una delle coautrici di Cuddy, Dana Carney, ha ammesso che “le prove contro l’esistenza del potere si pongono in modo innegabile” e che non crede che tali effetti siano “reali”. Naturalmente, questa ammissione non dimostra che la postura non ha alcun effetto sulla fisiologia o sulla psicologia di una persona. La stessa Cuddy, che ha lasciato la sua posizione in pista a Harvard, continua a sostenere che gli effetti sono reali. Più importante del verdetto sulla “potenza pone” è la domanda di fondo: come possono le scoperte scientifiche apparentemente affidabili portarci fuori strada?

Nel caso di “power poses”, un certo numero di fattori sembra essere stato in gioco. Uno dei più importanti, suggerisce Carney, è comunemente noto come “p-hacking” o dati di selezione delle ciliegie. Ciò si verifica quando i ricercatori selezionano o analizzano i dati in modi che rendano significativi i risultati non significativi. Un altro caso ampiamente diffuso di p-hacking riguardava un ricercatore alimentare della Cornell University, che si dimise dal suo incarico dopo che sei dei suoi documenti furono ritirati dal Journal of the American Medical Association.

Per capire “p-hacking”, è necessario prima capire p . P nacque quando gli statistici iniziarono a cercare di distinguere associazioni significative dal rumore di fondo. L’ipotesi nulla presuppone che non esista una relazione significativa tra due variabili. Per confutare l’ipotesi nulla e inferire una relazione significativa – diciamo, tra postura e livelli ormonali – i ricercatori di solito cercano di dimostrare che ha meno del 5% di probabilità di derivare dal caso, o un valore p inferiore a 0,05.

Un problema sorge quando i ricercatori iniziano a interrogare insiemi di dati di grandi dimensioni alla ricerca di associazioni con un valore p inferiore a 0,05. Ad esempio, se hanno testato associazioni significative tra 20 diverse variabili, è probabile che almeno un’associazione sembrerebbe statisticamente significativa solo per caso. Molti studi che dimostrano che fattori come la dieta, l’esercizio fisico e il consumo di alcol sono buoni o cattivi per la salute sono crivellati da questi problemi.

Ma “p-hacking” è solo la punta dell’iceberg. Altrettanto importante è la tendenza delle conferenze e dei periodici scientifici a riportare risultati positivi. In poche parole, uno studio che scopre che la postura influenza i livelli ormonali è molto più probabile che sia pubblicata rispetto a quella che non riesce a dimostrare tale relazione. Questa tendenza è amplificata dal fatto che, quando si tratta di costruire le carriere dei ricercatori, i risultati positivi generalmente contano molto più di quelli negativi

Un altro fattore è il finanziamento della ricerca. Mentre i finanziamenti per molti tipi di ricerca sono scarsi e la concorrenza è rigida, è generalmente più facile ottenere finanziamenti per studi di ricerca che provano nuove ipotesi rispetto a studi progettati per confermare o confermare risultati precedentemente riportati.

Aggiungi a questo un pregiudizio simile nella stampa popolare. Quando i ricercatori e le loro istituzioni annunciano i risultati degli studi, i mezzi di trasmissione e di stampa hanno maggiori probabilità di diffondere risultati positivi. Se uno studio non riesce a confutare l’ipotesi nulla, o se gli investigatori successivi che ripetono uno studio non riescono a ottenere risultati simili, la copertura della stampa è molto meno probabile.

Alla base di questi pregiudizi verso risultati positivi c’è un problema ancora più profondo, vale a dire un fondamentale fraintendimento di ciò che la scienza è realmente. La scienza non è un corpo di fatti stabiliti e indiscutibili. La scienza è più come un metodo per fare domande che – al suo meglio – ci porta più vicino alla comprensione di ciò che sta realmente accadendo.

Inteso in questi termini, non sorprende che in molti casi, la saggezza della scienza ricevuta si sia rivelata sbagliata – e non solo riguardo al risultato di studi particolari, ma a intere visioni del mondo scientifico. L’idea di vecchia data che i microrganismi viventi emergano dalla materia inanimata si è rivelata sbagliata. Il sistema solare si è rivelato non ruotare intorno alla terra, ma attorno al sole. E gli elementi apparentemente inviolabili della tavola periodica si sono rivelati reciprocamente interconvertibili.

Chiunque abbia persino una familiare familiarità con la storia della scienza si aspetterebbe più rivoluzioni scientifiche di questo tipo in futuro. Ad esempio, per bilanciare le equazioni alla base dei modelli cosmologici attuali, è necessario ipotizzare l’esistenza di “materia oscura” e “energia oscura”, che sono in parte caratterizzate dalla loro irrecuperabilità. Allo stesso modo, mentre la “generazione spontanea” – la visione che i microrganismi viventi emergono dalla materia inanimata – è stata confutata due secoli fa, i resoconti correnti della storia della vita presuppongono che una tale transizione debba aver avuto luogo almeno una volta.

Il punto qui non è che la scienza è così irrimediabilmente parziale che nessuno dovrebbe prestare attenzione ad essa. Dopotutto, l’elettricità alimenta davvero i nostri dispositivi, i velivoli a reazione si muovono davvero nei cieli, e gli antibiotici possono davvero curare le infezioni potenzialmente letali. Ma come modo di fare domande, la scienza è anche soggetta a pregiudizi, e in molti casi, tali pregiudizi si manifestano come eccessivo entusiasmo per risultati che non sono stati ancora sottoposti ad un controllo sufficiente.

Non c’è una panacea. Per correggere tali pregiudizi, non dobbiamo mai dimenticare che i valori di p non sono verità, ma strumenti potenzialmente utili nel suo perseguimento. Allo stesso modo, dobbiamo ricordare che ricercatori, finanziatori, editori, giornalisti e membri del pubblico in generale operano tutti con pregiudizi, incluso un pregiudizio verso risultati positivi. Tutti vogliono entrare presto nella prossima grande cosa – se “il potere pone” o l’elisir della vita. Come ha detto Platone, solo la vera comprensione può proteggerci da opinioni sbagliate.