La pulce

Come rendere stupidi gli esperti.

C’è una vecchia battuta su uno scienziato e una pulce. Lo scienziato mise una pulce sul tavolo, poi batté pesantemente la mano sul tavolo e la pulce sobbalzò. Lo scienziato dopo strappò due delle zampe della pulce e colpì di nuovo, e di nuovo la pulce sobbalzò. Lo scienziato strappò altre due gambe, ripeté la procedura e di nuovo la pulce sobbalzò.

Lo scienziato strappò le ultime due gambe, schiaffeggiò la mano sul tavolo e – senza saltare. Provò di nuovo, batté pesantemente la mano sul tavolo, ma la pulce non saltava ancora.

Lo scienziato ha annotato la sua osservazione: “Quando una pulce perde tutte le sue gambe, diventa sorda”.

Allo stesso modo, se prendi degli esperti e li metti in una situazione in cui devono svolgere un compito non familiare (a due zampe), e rimuovere qualsiasi contesto significativo (due gambe in più) e applicare un criterio di valutazione inappropriato (ultime due gambe fuori) , è un errore concludere che gli esperti sono stupidi.

• Multitasking in Mind’s Eye
• Fortnite: violenta, avvincente e (a volte) gestibile
• Non mi piace guidare? Uno standard universale per la competenza dei leader
• Differenze principali nella salute mentale degli studenti universitari
• 4 semplici passi per saltare: inizia l’innovazione della tua squadra

Mi è venuto in mente questo scherzo quando ho letto alcuni resoconti su come i sistemi avanzati di Intelligenza Artificiale stessero superando gli esperti. Ad esempio, nel settore sanitario, un medico che cura un paziente potrebbe guardare a una radiografia per segni di polmonite, ma i sistemi di IA possono rilevare la polmonite nei raggi X in modo più accurato. Oppure il medico potrebbe studiare i risultati di una batteria di esami del sangue, ma i sistemi di intelligenza artificiale possono rilevare i problemi delle cartelle cliniche elettroniche in modo più accurato rispetto ai medici.

Ciò che manca a questa immagine è che il medico ha anche la possibilità di incontrare i pazienti e osservarli – come si stanno muovendo, soprattutto rispetto all’ultima visita in ufficio. Come stanno respirando, e così via. I sistemi di intelligenza artificiale non hanno un modo per tenere conto di queste osservazioni e quindi gli studi comparativi escludono qualsiasi osservazione e richiedono ai medici di basare i loro giudizi interamente sulle registrazioni oggettive. Sono a due zampe. I medici non sono autorizzati a prendere in considerazione alcuna storia personale con i pazienti – altre due zampe. I medici non possono consultarsi con i membri della famiglia – un ultimo due gambe fuori. E così i ricercatori concludono che i medici non sono molto abili, non precisi come l’intelligenza artificiale.

Penso che ciò di cui abbiamo bisogno è un modo per gli sviluppatori di IA di migliorare i giudizi dei medici, non sostituirli. Ecco un esempio, uno studio di Wang et al. (2016). Il tasso di errore dei patologi era del 3,5%, mentre il tasso di errore del modello AI era solo del 2,9%. Una chiara vittoria per il modello di intelligenza artificiale che sembrerebbe. Tuttavia, il tasso di errore combinato, aggiungendo il patologo all’IA, era dello 0,5%.

• 3 modi in cui le persone emotivamente potenti riescono
• Tempo sui giocattoli
• Psicoanalisi e Metafora
• Da uomo a mostro
• Curioso Come usare l’ansia a tuo vantaggio?

Aggiunta di un patologo all’IA

Fonte: Wang et al. generato questo grafico

Un altro studio (Rosenberg et al., 2018) descrive come un meccanismo basato sull’intelligenza artificiale abbia usato “l’intelligenza dello sciame” tra un gruppo di radiologi esperti che esaminava le radiografie del torace per la presenza di polmonite. Lo sciame ha battuto le prestazioni radiologiche standard del 33 percento, ma ha anche battuto il sistema di apprendimento approfondito di Stanford del 22 percento.

Siddiqui (2018) ha descritto un altro esempio di collaborazione tra l’uomo e l’intelligenza artificiale. I medici esperti possono identificare quello in un bambino molto malato circa tre quarti del tempo. Al fine di aumentare l’accuratezza del rilevamento e ridurre il numero di bambini che mancano, alcuni ospedali utilizzano ora algoritmi quantitativi dai loro record sanitari elettronici per scegliere quali febbri erano pericolosi. Gli algoritmi si basano interamente sui dati e sono più accurati dei medici, rilevando le infezioni gravi nove volte su dieci. Tuttavia, gli algoritmi avevano dieci volte i falsi allarmi. Un ospedale dell’ospedale di Filadelfia ha preso come punto di partenza l’elenco computerizzato di febbri preoccupanti, ma poi i loro migliori medici e infermieri hanno esaminato i bambini prima di dichiarare l’infezione mortale e di portarli in ospedale per le terapie endovenose. I loro team hanno eliminato i falsi allarmi dell’algoritmo con elevata precisione. Inoltre, i medici e gli infermieri hanno trovato casi in cui il computer ha mancato, portando il tasso di rilevamento di infezioni mortali dall’86,2% solo dall’algoritmo, al 99,4% dall’algoritmo in combinazione con la percezione umana.

Quindi è facile rendere stupidi gli esperti. Ma è più eccitante e appagante mettere le proprie capacità al lavoro.

Ringrazio Lorenzo Barberis Canonico per aver portato questi studi alla mia attenzione.

Riferimenti

Rosenberg, L., Willcox, G., Halabi, S., Lungren, M., Baltaxe, D. & Lyons, M. (2018). Intelligenza dello sciame artificiale utilizzata per amplificare l’accuratezza diagnostica in radiologia. . IEMCON 2018 – IX Conferenza annuale sulla tecnologia dell’informazione, l’elettronica e la comunicazione mobile

Siddiqui, G. (2018). Perché i medici rifiutano gli strumenti che facilitano il loro lavoro. Scientific American, newsletter Observations, 15 ottobre 2018.

Wang, D., Khosla, A., Gargeya, R., Irshad, H., Beck, AH, (2016). Apprendimento profondo per identificare il cancro al seno metastatico. Carta non pubblicata