Strumenti di valutazione del rischio di violenza afflitti da 'Authorship Bias'

L'uso di strumenti di valutazione del rischio attuariale per prevedere la violenza sta diventando sempre più centrale nella pratica della psicologia forense. E i medici e i tribunali si affidano ai dati pubblicati per stabilire che gli strumenti soddisfano le loro richieste di separare accuratamente i criminali ad alto rischio da quelli ad alto rischio.

Ma a quanto pare, la validità predittiva degli strumenti di valutazione del rischio come Static-99 e VRAG dipende in parte dalla connessione del ricercatore allo strumento in questione.

Gli studi pubblicati, redatti da progettisti di strumenti, hanno riportato risultati di validità predittiva circa due volte superiori rispetto alle indagini di ricercatori indipendenti, secondo una meta-analisi sistematica che includeva 30.165 partecipanti in 104 campioni da 83 studi indipendenti.

• Le donne stanno morendo nella guerra dell'amore?
• Perché alcuni lavoratori 60+ stanno rallentando
• Il tempo vola quando stai invecchiando?
• Utilizzando ciò che funziona
• Permesso di crescere

Conflitti di interesse avvolti

Ad aggravare il problema, in nessun caso i progettisti di strumenti hanno denunciato apertamente questo potenziale conflitto di interessi, anche quando le politiche di una rivista richiedevano tale divulgazione.

Come sottolineano gli autori dello studio, i progettisti di uno strumento hanno interesse a che la loro procedura funzioni bene. I profitti finanziari derivanti da manuali, schede di codifica e sessioni di formazione dipendono in parte dalla precisione percepita di uno strumento di valutazione del rischio. Indirettamente, gli sviluppatori di strumenti di successo possono essere assunti come testimoni esperti, attrarre finanziamenti per la ricerca e ottenere riconoscimento professionale e avanzamento di carriera.

Questi potenziali vantaggi potrebbero rendere i progettisti di strumenti più riluttanti a pubblicare studi in cui il loro strumento si comporta male. Questo "problema del cassetto dei file", ben consolidato in altri campi scientifici, ha portato a chiedere ai ricercatori di registrare in anticipo gli studi previsti, prima che i loro risultati siano noti.

• Argomentazioni contro la villainizzazione di donne senza figli
• ! 00% Unamerican!
• I boomer ottengono una vita dopo il pensionamento
• Un workover: cosa fare se si dispone di una cronologia di lavoro Zig-Zag?
• Tempting Innovation, Tainted Innovation

I ricercatori non hanno trovato prove che l'effetto dell'autore fosse dovuto a un maggiore rigore metodologico negli studi condotti dai progettisti di strumenti, come una migliore affidabilità tra valutatori o un addestramento più standardizzato dei valutatori di strumenti.

"La credibilità dei risultati della ricerca futura può essere messa in discussione in assenza di misure per affrontare questi problemi", avvertono gli autori. "Per promuovere la trasparenza nella ricerca futura, gli autori di strumenti e i traduttori dovrebbero regolarmente riferire il loro potenziale conflitto di interessi quando pubblicano ricerche che indagano sulla validità predittiva del loro strumento."

La meta-analisi ha esaminato tutte le ricerche pubblicate e inedite sui nove strumenti di valutazione del rischio più comunemente utilizzati in un periodo di 45 anni:

• Historical, Clinical, Risk Management-20 (HCR-20)
• Inventario del livello di servizio rivisto (LSI-R)
• Lista di controllo per la psicopatia riveduta (PCL-R)
• Spousal Assault Risk Assessment (SARA)
• Valutazione strutturata del rischio di violenza nei giovani (SAVRY)
• Guida per la valutazione del rischio di Sex Offender (SORAG)
• Static-99
• Sexual Violence Risk-20 (SVR-20)
• Guida alla valutazione del rischio di violenza (VRAG)

Sebbene i ricercatori non fossero in grado di abbattere il cosiddetto "pregiudizio dell'autenticità" per strumento, l'effetto appariva più pronunciato con strumenti attuariali che con strumenti che utilizzavano giudizi professionali strutturati, come l'HCR-20. La maggior parte dei campioni nello studio ha coinvolto strumenti attuariali, i tre più comuni sono PCL-R, Static-99 e VRAG.

Questo è l'ultimo importante contributo del duro team di Jay Singh del Molde University College in Norvegia e del Dipartimento di Giustizia in Svizzera, (il defunto) Martin Grann del Center for Violence Prevention presso il Karolinska Institute, Stoccolma, Svezia e Seena Fazel della Oxford University.

Un obiettivo era quello di risolvere una volta per tutte una disputa sul fatto che l'effetto bias dell'autenticità fosse reale. L'effetto è stato segnalato per la prima volta nel 2008 dal team di Blair, Marcus e Boccaccini, per quanto riguarda gli strumenti Static-99, VRAG e SORAG. Due anni dopo, i coautori di due di quegli strumenti, il VRAG e il SORAG, respinsero una confutazione, contestando la scoperta dell'effetto di fedeltà. Tuttavia, Singh e colleghi dicono che la statistica che hanno usato, la curva caratteristica operativa del ricevitore (AUC), potrebbe non essere stata all'altezza del compito, e che "non hanno fornito test statistici per supportare le loro conclusioni".

Il famoso ricercatore Martin Grann morto a 44 anni

Purtroppo, questo sarà l'ultimo contributo al campo del rischio di violenza da parte del membro del team Martin Grann, che è appena scomparso alla giovane età di 44 anni. La sua morte è una tragedia per il campo. Scrivendo nella pubblicazione legale Das Juridik , il redattore Stefan Wahlberg ha notato il "brillante intelletto" di Grann e il "genuino umanesimo e curiosità":

Martin Grann è arrivato nell'ultimo decennio ad essere una delle voci più influenti in entrambi gli ambienti accademici e nel dibattito pubblico su questioni di psichiatria forense, valutazione del rischio e dei pericoli dei criminali e … trattamento all'interno del sistema carcerario. La sua vasta conoscenza in questi settori andava dalla legge da una parte alle terapie cliniche a livello individuale dall'altra – e tutto il resto. Questa settimana debutterà anche come romanziere con il libro "L'usignolo".

L'articolo, Bias di autori nella valutazione del rischio di violenza? Una revisione sistematica e meta-analisi , è liberamente disponibile online tramite PloS ONE (QUI).

Rapporti blog correlati:

• Strumenti a rischio di violenza che sovrastimano il pericolo (2 agosto 2012)
• Rischio di violenza in schizofrenici: gli strumenti forensi sono predittori affidabili? (14 settembre 2011)
• Violenza rischio meta-meta: scelta strumentale non importa (19 giugno 2011)
• Psicologia diffusa con risultati di ricerca non accurati (20 novembre 2011)
• I ricercatori sul rischio di violenza internazionale lanciano un servizio di notizie gratuite (13 giugno 2013)