"L' antidepressivo, la terapia del linguaggio non riesce a battere il placebo. "Così è stato lanciato un articolo di Reuters che è stato rapidamente raccolto da altri nuovi servizi, quasi sempre testualmente. Il messaggio si diffonde su Internet tramite Twitter e commenti sul blog. I soliti ideologi interpretarono lo studio come una prova per affermare che gli antidepressivi non sono meglio dei placebo. Se l'affermazione fosse vera sugli antidepressivi, sarebbe altrettanto vero per le psicoterapie rispetto al placebo, ma nessuno vuole fare questo punto. Torneremo su questo.
La notizia continuò:
- Né gli antidepressivi né la "terapia del linguaggio" sono stati in grado di sovraperformare le pillole di placebo inattive in un nuovo studio clinico sul trattamento della depressione – sebbene ci fossero indizi che gli effetti variavano in base al sesso e alla razza delle persone, riferiscono i ricercatori.
- Dopo 16 settimane, non ci sono state differenze generali nel modo in cui i tre gruppi sono andati.
- Dei pazienti antidepressivi, il 31% erano "responder" di trattamento (ovvero erano caduti al di sotto di un determinato punteggio su una misura standard dei sintomi della depressione, o avevano visto il loro punteggio scendere di almeno il 50%).
- Lo stesso valeva per circa il 28 percento dei pazienti nel gruppo di terapia della parola e per il 24 percento nel gruppo placebo. Le differenze tra i tre gruppi erano così piccole da essere probabilmente dovute al caso.
- "Sono rimasto sorpreso dai risultati. Non erano quello che mi aspettavo ", ha detto il ricercatore capo Jacques P. Barber, decano dell'Istituto di studi psicologici avanzati presso la Adelphi University di Garden City, New York.
Motivi immediati per lo scetticismo.
• Questo risultato è contraddetto da una vasta letteratura che dimostra che gli antidepressivi sono superiori al placebo per le pillole e una letteratura più piccola che mostra che la psicoterapia ha un vantaggio simile quando misurata rispetto a un placebo per la pillola fornito in uno studio clinico.
• La terapia espressiva di supporto, una versione a breve termine dei trattamenti psicodinamici e psicoanalitici, manca di supporto empirico per la depressione, in particolare rispetto alla terapia cognitivo-comportamentale ben convalidata. Pertanto, l'etichetta "talk therapy" nella notizia è troppo ampia e imprecisa.
• I tassi di risposta a entrambi gli antidepressivi e al placebo per la pillola in questo studio sono inferiori rispetto ad altri studi.
• Questo studio è troppo piccolo per rilevare le differenze tra i trattamenti attivi, anche se erano presenti.
Andando all'articolo originale .
Mi interessava molto sapere se questo studio riuscisse a ottenere la dimensione del campione desiderato, se lo studio fosse stato analizzato con analisi intent-to-treat "gold standard" che prendessero in considerazione tutti i pazienti randomizzati e se il numero sufficiente di pazienti fosse adeguato esposizione al trattamento.
L'articolo riconosce difficoltà nel reclutare la dimensione del campione previsto di 180 pazienti. Sono state adottate diverse strategie per reclutare 156 pazienti, incluse le pubblicità sui giornali. L'articolo non indica quali incentivi sono stati offerti, ma tali strategie di reclutamento richiedono incentivi finanziari per attrarre e trattenere i pazienti. Pagamenti sostanziali hanno lo svantaggio di attrarre pazienti motivati dal denaro, non il miglioramento della loro depressione. Molti "partecipanti alla ricerca professionale" guadagnano una buona parte del loro reddito dal volontariato per le sperimentazioni cliniche.
Per i pazienti con assicurazione, il trattamento è già disponibile nella comunità dai medici di base. Gli antidepressivi usati nello studio sono già diventati generici, sono disponibili versioni economiche per pochi dollari al mese. Inoltre, i pazienti con assicurazione hanno pochi incentivi a iscriversi a una sperimentazione clinica in cui potrebbero non ottenere il trattamento preferito. Queste considerazioni diventano importanti in una sperimentazione in cui non ci sono trattamenti innovativi: un trattamento psicodinamico piuttosto tradizionale contro un antidepressivo generico e economico.
Quindi, questo è un campione non rappresentativo che probabilmente manca della motivazione dei pazienti depressi che cercano un trattamento in contesti clinici. Il campione era a basso reddito, tipico dei filadelfiani che si iscrivevano a sperimentazioni cliniche con incentivi finanziari. Ma l'articolo non indica passaggi speciali per educare i pazienti sul trattamento, aumentare la loro aderenza o mantenerli nello studio. L'ingrediente mancante potrebbe aver contribuito al tasso di abbandono del 40%. Il mio gruppo ha scoperto che ci vuole uno sforzo persistente, sistemazioni speciali come la programmazione flessibile dei contatti e incentivi per reclutare e conservare campioni rappresentativi di partecipanti alla ricerca urbana a basso reddito.
Lo studio è viziato da troppi pazienti che ricevono un'esposizione inadeguata al trattamento. Solo 91 dei 156 pazienti hanno completato lo studio. Gli investigatori hanno tentato di compensare gli abbandoni utilizzando una tecnica statistica nota come Last Observation Brought Forward (LOBF). Questa tecnica considera gli ultimi dati sui risultati raccolti da un paziente come risultato finale del paziente. È noto che la LOBF fornisce stime distorte delle differenze di gruppo nel risultato di uno studio clinico. Presuppone che gli abbandoni siano casuali e ignora se i pazienti stavano migliorando o peggiorando quando si sono ritirati.
Pertanto, l'uso di LOBF ha permesso agli investigatori di avere dati per tutti i pazienti, anche in caso di abbandono. Compreso tutti i pazienti che sono stati randomizzati – quelli che sono chiamati analisti intent-to-treat- è il gold standard per gli studi clinici. Tali analisi rispondono alla domanda su cosa succede se i pazienti vengono randomizzati a un particolare trattamento. Se molti pazienti abbandonano, questo è un risultato rilevante. Inoltre, limitando le analisi solo ai pazienti che hanno completato una sperimentazione, non vengono più preservati i benefici della randomizzazione. I dropout non sono casuali. Quindi, la strategia migliore è fare affidamento sulle analisi intent-to-treat, ma basarsi sul pregiudizio introdotto da LOBF in questo trial. Tuttavia, è anche importante prestare attenzione alle analisi "come trattate" che si concentrano sui pazienti che hanno effettivamente ricevuto il trattamento come previsto. E qui vediamo questi numeri diventare molto più piccoli.
Le probabilità erano contrarie a trovare differenze tra i trattamenti. Secondo le analisi statistiche di potenza utilizzate per progettare lo studio, se gli investigatori avessero ottenuto la dimensione del campione che avevano programmato, ci sarebbe stata una probabilità dell'80% di trovare una differenza tra la terapia psicodinamica o gli antidepressivi e un trattamento inerte, come controllo lista d'attesa. Tuttavia, il problema è che il placebo per le pillole somministrato nel contesto di una sperimentazione clinica non è un trattamento inerte, come notano gli investigatori. Sia i pazienti che i fornitori sono in cieco, quindi non sanno che i pazienti che ricevono un placebo non ricevono un antidepressivo. Ai pazienti vengono date aspettative positive e molti incoraggiamenti e supporto che possono essere sufficienti per produrre miglioramenti.
Quindi, i calcoli iniziali di potenza usati per determinare la dimensione del campione erano irrealistici perché presumevano che il confronto fosse con un trattamento inerte. La dimensione del campione prevista di 180 distribuita su tre gruppi è troppo piccola. Ma dovremmo prendere in considerazione che gli investigatori sono riusciti a reclutare solo 156 pazienti, con il 40% di abbandoni tra i pazienti che assumevano farmaci o placebo e il 23% dei pazienti che assumevano psicoterapia, le probabilità di ottenere un effetto significativo sono ben al di sotto del 50-50, soprattutto se qualsiasi effetto dipendeva dal fatto che i pazienti fossero stati sufficientemente esposti ai trattamenti. Gli investigatori avevano poche possibilità di trovare una differenza statisticamente significativa tra i tre gruppi. Perché l'investigatore principale è stato sorpreso dai risultati?
Nella letteratura più ampia, ottenere un antidepressivo rispetto a un placebo per la pillola in uno studio clinico ha una dimensione di effetto ridotta (circa r = 30). In tutta la letteratura, ci sono meno di una dozzina di confronti tra psicoterapia e pillola placebo, ma il vantaggio della psicoterapia rispetto al placebo è circa lo stesso che per un antidepressivo. Questo, naturalmente, è un effetto medio, con alcuni pazienti che fanno molto meglio e altri peggio.
Ciò non significa che un medico di base che prescrive una pillola di zucchero ai pazienti avrebbe un effetto positivo di dimensioni simili. In realtà, data la scarsa qualità dell'assistenza di routine per la depressione nella comunità, gli antidepressivi somministrati da un medico di base hanno gli stessi effetti sui pazienti depressi come placebo somministrati nel contesto di una sperimentazione clinica, dove c'è supporto e gestione clinica attiva e, soprattutto, follow-up.
Pim Cuijpers ha sottolineato che la più grande differenza che si trova di solito tra due psicoterapie strutturate e credibili è r = 0,20. Una prova in grado di rilevare un effetto così piccolo senza perderlo per caso richiederebbe circa 1000 pazienti. Sarebbe uno spreco e poco pratico, portando alla domanda sul perché NIH sentisse il bisogno di finanziare un costoso processo di 6 anni confrontando una terapia psicodinamica a breve termine con antidepressivi e un placebo per la pillola, dato ciò che già sappiamo della terapia cognitiva comportamentale e quando è una piccola possibilità di trovare una differenza clinicamente significativa.
L'affermazione nella copertura dei comunicati stampa dei risultati che variano per genere e razza è probabilmente dovuta al caso e certamente non significativa, poiché tali affermazioni non tengono conto delle differenze di esposizione al trattamento e si basano su campioni eccezionalmente piccoli di pazienti. E sono stati esaminati molti confronti per produrre alcuni risultati positivi che probabilmente non sarebbero stati previsti in anticipo.
Perché l'investigatore principale è stato sorpreso dai risultati? Probabilmente cullò nel credere che un processo così piccolo con tassi di abbandono consistenti avrebbe potuto produrre un effetto significativo a causa di ciò che vedeva già pubblicato in presumibilmente il migliore dei giornali. La frequenza con cui si verificano piccoli studi con risultati positivi in letteratura e la rarità dei risultati negativi pubblicati sono impressionanti. Sfidano tutte le previsioni dalle analisi del potere, in particolare in quelle che sono considerate le migliori riviste per pubblicare studi di psicoterapia, come Journal of Consulting e Clinical Psychology ( JCCP ).
In un precedente blog, ho fornito un esempio di uno studio sul fatto se un breve corso di accettazione e terapia di impegno (ACT) riducesse la riospedalizzazione. Gli investigatori hanno convenientemente abbandonato i pazienti che si sono uccisi o sono andati in prigione e hanno utilizzato approcci flessibili all'analisi dei dati per essere pubblicati come studio positivo nel prestigioso JCCP . Questo giornale ha una politica di vecchia data di rifiuto di studi con risultati negativi e non permettendo commenti post peer sui difetti degli studi già pubblicati lì. Un forte pregiudizio di conferma è mantenuto dai sostenitori di particolari terapie che vanno via con l'analisi dei pregiudizi e l'interpretazione dei loro risultati e la rivista che respinge i risultati negativi presentati onestamente e in modo trasparente. E nessuno può pubblicare commenti critici su esempi eclatanti di ciò che appare nel diario.
Altrove, la meta analisi dello sviluppatore di ACT che ha servito come base delle sue affermazioni in Time Magazine per la sua superiorità rispetto alle altre terapie e le più recenti affermazioni per la superiorità della psicoterapia psicodinamica a lungo termine su terapie più brevi fatte nel British Journal of Psychiatry and JAMA dipende interamente da studi imperfetti e sottodimensionati che raggiungono risultati positivi a tassi statisticamente improbabili. Questo pregiudizio è ulteriormente amplificato nella selezione, sintesi e interpretazione degli studi disponibili nelle meta analisi. Dimostrami le rivendicazioni per la superiorità di una psicoterapia rispetto a un'alternativa credibile e strutturata, e probabilmente sarò in grado di mostrarti un affidamento su studi sottodimensionati, imperfetti e un grossolano pregiudizio di conferma nella pubblicazione e sintesi degli studi.
L'articolo che ha spinto le affermazioni di nessuna differenza tra psicoterapia, farmaci e pillola placebo non era particolarmente viziato, rispetto ad altri articoli pubblicati su JCCP , ma dati i suoi risultati negativi, non c'era modo di entrare in quel giornale. E i suoi risultati non possono davvero trarre conclusioni da una grande letteratura. Sono d'accordo con almeno la metà di un commento nell'articolo di Reuters: "Questi risultati sono interessanti, ma devono essere interpretati con un pizzico di sale", ha detto il dottor David Mischoulon, professore associato di psichiatria presso la facoltà di medicina.
Resta sintonizzato e lo Skeptical Sleuth fornirà altri esempi di affermazioni esagerate basate su studi e indizi modesti e imperfetti per rilevare te stesso hype e hokum.