Due implicazioni del teorema di Bayes

Il Rev insegna l’incertezza.

Nella scienza, il progresso è possibile. Infatti, se si crede nel teorema di Bayes, il progresso scientifico è inevitabile quando le previsioni vengono fatte e le convinzioni vengono testate e perfezionate . ~ Nate Silver

Se la probabilità che il teorema di Bayes sia vero è .9, qual è la probabilità riveduta che sia vera se rifiutiamo l’ipotesi che sia falsa in p = 0,05? ~ JIK

Thomas Bayes era un chierico e matematico inglese che era interessato, tra le altre cose, a trovare una prova di dio. Non poteva, ma lasciò un trattato e un teorema, che, dopo essere stato pubblicato postumo (Bayes, 1764), divenne la base di ciò che ora chiamiamo statistica bayesiana. Ciò che il teorema di Bayes fa, in termini concettuali, è descrivere come la credenza preesistente (congettura, ipotesi o intuizione) dovrebbe essere aggiornata alla luce di nuove prove (osservazioni, dati) in modo tale che non ci siano contraddizioni. In altre parole, il teorema di Bayes garantisce la coerenza e promette gradualmente gradi crescenti di accuratezza delle credenze. Nessuna meraviglia che molte persone (statisti, psicologi, macchinisti) considerino il teorema come la definizione di razionalità. In questo saggio leggermente tecnico, sottolineo due implicazioni del teorema di Bayes che non sono particolarmente profondamente nascoste in matematica, ma che sono profonde nella loro rilevanza per la ricerca e la religione. Ma prima dobbiamo introdurre i termini del teorema e il modo in cui sono correlati l’uno all’altro (che è il lavoro del teorema da illuminare).

• Possiamo rendere significativa una vita senza senso?
• Autenticità in stile americano
• Spinta: la prigione gentile
• Supereroi e Hero Monomyth: Parte I
• Consenso. Ora, rilassati. È tempo di giocare!

Figura 1. Teorema di Bayes.

Fonte: J. Krueger

La figura 1 mostra il teorema. La probabilità che una credenza (H per ipotesi da qui in avanti) sia vera data l’evidenza (D per i dati) o p (H | D), è uguale al prodotto della probabilità precedente dell’ipotesi, p (H) , cioè, prima che i nuovi dati vengano introdotti, e il “rapporto diagnostico”. Questo rapporto è la probabilità che i dati assumano che l’ipotesi sia vera, p (D | H), sulla probabilità totale dei dati, p (D ), cioè la probabilità sommata dei dati in tutte le ipotesi. Per semplificare le cose (si ! ), Supponiamo che esista un’unica ipotesi alternativa, ~ H, la cui probabilità è 1 – p (H). Ora possiamo dire che p (D) = p (H) * p (D | H) + p (~ H) * p (D | ~ H). Il teorema è completo. Guarda ancora la Figura 1 per apprezzare questo fatto.

• È meglio credere che l’universo sia giusto o ingiusto?
• Coltivare i bambini premurosi
• L’effetto Meeker-Than-Average
• Come snobbare un troll
• Non è un problema di pistola, è un problema di cuore

La prima implicazione del teorema di Bayes è che il reverendo avrebbe potuto dimostrare Dio in teoria, ma che la condizione necessaria è estrema. È possibile che p (H | D) sia 1, ma solo se p (D | H) = 1 ep (D | ~ H) = 0. La certezza della credenza richiede certezza dei dati. I dati devono essere certi data l’ipotesi di interesse e impossibile sotto l’ipotesi alternativa. Quando viene soddisfatta quest’ultima coppia di condizioni, la forza precedente della credenza (in dio o in qualsiasi altra cosa) è irrilevante. La prova (cioè la combinazione di p (D | H) = 1 ep (D | ~ H) = 0) sradica la differenza tra avvocato e scettico.

Così tanto per la religione. Nella maggior parte delle scienze empiriche, la prova incontrovertibile è rara. I dati arrivano con il rumore e l’incertezza, e le ipotesi e le convinzioni e le supposizioni che sostengono tendono a rimanere probabilistiche. Al massimo, i ricercatori potrebbero dire di avere “certezza morale” che X è vero. Essendo la moralità notoriamente imperfetta, la porta per un cambio di mentalità dati nuovi dati viene lasciata socchiusa.

La seconda implicazione del teorema di Bayes è rilevante per la domanda di come la probabilità dei dati sotto l’ipotesi, p (D | H), sia corretta con la probabilità a posteriori dell’ipotesi, cioè, dati i dati, p (H | D). Questa domanda è interessante per tutti i ricercatori che desiderano verificare le ipotesi e non solo se i dati sono credibili. Questi ricercatori vogliono trarre conclusioni dai dati alle ipotesi. Vogliono usare p (D | H) per dedurre p (H | D). Per fare ciò, hanno bisogno del teorema completo. Hanno bisogno di sapere (o postulare) p (H), p (~ H) e p (D | ~ H). Un’inferenza da p (D | H) a p (H | D) è forte in quanto i due termini sono correlati tra loro. Usando esperimenti di simulazione, abbiamo scoperto che queste correlazioni sono positive, ma che la loro grandezza può variare ampiamente in modi prevedibili (Krueger e Heck, 2017). Qui vogliamo trovare le condizioni in cui p (D | H) ep (H | D) sono identici.

Il teorema di Bayes mostra che p (D | H) = p (H | D) se e solo se p (H) = p (D). Consideriamo ora il caso di p (D | H) = .05, dove il ricercatore, in seguito alla convenzione, dichiara che il risultato è significativo. Con ogni probabilità, p (H | D) non sarà basso come p (D | H), ma potrebbe esserlo. La domanda di oggi è: cosa serve per farlo? Una piccola algebra rivela che p (D | H) = p (H | D) se p (D | ~ H) = (p (H) – p (D | H)) / p (~ H). Proviamo alcuni esempi. Avendo selezionato p (D | H) = .05, potremmo avere un’ipotesi che non appare né particolarmente probabile né improbabile all’inizio, cioè p (H) = 0,5. Ora, se p (D | ~ H) = .9, abbiamo la nostra uguaglianza desiderata di p (H | D) = p (D | H) = .05. Questa è una bella sistemazione. La credenza precedente è al massimo incerta (p (H) = 0,5); i risultati sono significativi (p (D | H) = .05) e molto probabilmente sotto l’ipotesi alternativa (p (D | ~ H) = .9); e l’ipotesi nulla è effettivamente respinta (p (H | D) = .05, che significa che p (~ H | D) = .95.

Consideriamo ora le conseguenze più preoccupanti che emergono quando ci allontaniamo da questo scenario migliore. Cosa succede se il ricercatore sceglie un’ipotesi alternativa rischiosa, cioè un caso in cui p (H) è elevato? Se p (H) = .8, ad esempio, p (D | ~ H) dovrebbe essere 3.75 in modo che p (D | H) = p (H | D) = .05. Un risultato impossibile! Il teorema di Bayes lo proibisce. Se si perseguono ricerche rischiose (se p (H) è elevato) e si riesce a ottenere significatività statistica, è garantito che l’ipotesi non è così improbabile come lo sono i dati che portano al suo rifiuto. In p (H) = .525, p (D | ~ H) = 1. Per qualsiasi valore superiore di p (H), p (H | D)> p (D | H). Questo è un corno del dilemma.

L’altro corno emerge quando la ricerca è sicura. Quando p (H) è basso, cioè quando la probabilità dell’ipotesi alternativa o sostanziale, p (~ H), è alta a priori , l’uguaglianza di p (H | D) ep (D | H) è facilmente ottenuto, ma per il prezzo che p (D | ~ H) è basso. Ad esempio, se p (H) = .1, e sia p (D | H) che p (H | D) = .05, allora p (D | ~ H) = .056. Questo può sembrare un risultato grottesco. Da un lato, l’ipotesi alternativa è considerata molto probabilmente a priori (p (~ H) = .9), mentre d’altra parte questa stessa ipotesi fornisce un adattamento con i dati che è quasi altrettanto povero dell’adattamento con l’ipotesi (H) che viene rifiutato.

La morale della storia è che il teorema di Bayes non solo ci insegna la coerenza, ma ci spinge anche (se può parlare) a fare del nostro meglio per selezionare ipotesi di probabilità intermedia per il test. È qui che la ricerca empirica produce i maggiori benefici.

Prova? Quale prova? Quando ho scritto la prima implicazione (“Dimostrazione elimina il disaccordo tra l’avvocato e lo scettico”), sono stato scosso dal mio sonno Umano. David Hume (1764) ha sostenuto ( e ha dimostrato! ) Che non è possibile dimostrare la validità dell’induzione con mezzi deduttivi (si veda qui nell’Enciclopedia di Stanford). L’esempio cliché di questa intuizione molto profonda è che non importa quanti cigni bianchi hai visto, non puoi prenderlo come dimostrato che nessun cigno nero esiste. Questo è così quando non c’è limite al numero possibile di cigni là fuori. L’argomento non regge in una popolazione limitata. Ora dobbiamo chiederci se p (D | H) può essere 1. Se stiamo lavorando nella terra della teoria, assumendo la presenza di una distribuzione gaussiana (o altrimenti illimitata), è difficile vedere come ciò possa essere affermato sul base dei dati. I dati, come vengono in una misurazione, sono finiti nel loro valore numerico. Pertanto, un valore più estremo è sempre possibile. Pertanto, la probabilità di questi dati o dati meno estremi deve essere inferiore a 1. Pertanto, l’argomento che ho avanzato, ossia che il teorema di Bayes ci consente di estrarre determinate credenze dai dati osservati, è valido solo in teoria ma non nella pratica. Hume vince (vedi qui per un’interessante nota storica che suggerisce che gli sforzi di Bayes erano motivati ​​dal desiderio di confutare Hume).

Finiamo con una citazione di David Hume, giusto per dimostrare che il grande scettico aveva un malvagio senso dell’umorismo. “Ho scritto su tutti i tipi di argomenti … eppure non ho nemici; eccetto davvero tutti i Whigs, tutti i Tories e tutti i Cristiani “ (trovato qui).

Bayes, T. (1764). Un saggio verso la risoluzione di un problema nella dottrina delle probabilità . Transazioni filosofiche della Royal Society of London, 53 , 370-418.

Hume, D. (1739). Un trattato della natura umana . Oxford, Inghilterra: Oxford University Press.

Krueger, JI, & Heck, PR (2017). Il valore euristico di p in inferenza statistica induttiva. Frontiere in psicologia: psicologia dell’educazione . https://doi.org/10.3389/fpsyg.2017.00908