Gli algoritmi sono estremamente intelligenti nell’elaborare accuratamente enormi quantità di informazioni. Ma un problema recente con un prestito bancario è uno sguardo inquietante dietro il sipario.
La scorsa settimana ho fatto domanda per un prestito personale. La mia banca mi aveva detto che avrei potuto richiedere il prestito online. Così ho fatto attraverso il loro sito web.
Ho compilato le informazioni, le ho fornito i miei dati personali e ho premuto submit.
Quando mi svegliai la mattina dopo, la banca aveva approvato il prestito e mi informò che ora avrebbero trasferito i soldi sul mio conto. Evviva.
Tranne, il tasso era del 7,9%. Circa il 5% in più di quanto mi aspettassi. La banca aveva detto che poteva essere basso al 3% (come pubblicizzato sul loro sito web). Questo era ovviamente basato su un controllo del credito. Per quanto ne so, il mio credito è buono. Quindi, perché il 7,9%?
Sospettavo che fosse un problema con il mio credito. Così ho chiamato la banca per scoprirlo.
Mi è stato detto che l’applicazione invia semplicemente il modulo a un algoritmo e restituisce un tasso.
“Sai perché è quel tasso?”
“Mi dispiace signore, non lo so.”
“È merito mio?”
“Non riceviamo alcuna informazione sul tuo credito.”
“Puoi guardare?”
“No, non abbiamo accesso a tali informazioni. È tutto nell’algoritmo. ”
“Quindi devi semplicemente inviare le informazioni ad un algoritmo e dice quale tasso ottengo?”
“Sì.”
Ho chiesto loro di cancellare il prestito.
Poi sono andato online a un altro sito Web e ho presentato un’altra domanda. Il sito Web ha restituito la mia approvazione istantaneamente e ha dichiarato che il tasso era del 10,9%. Yikes.
Mi sono rassegnato a tornare alla mia banca originale e ad accettare il loro tasso inaspettatamente alto.
Chiamai la mia banca e chiesi loro se potevo annullare il prestito annullato.
“No, ma puoi riapplicare con me al telefono.”
“Ok”, dissi, “Facciamolo.”
Ha preso di nuovo le mie informazioni. “Allora qual è il tuo titolo”, ha detto. “Nella tua applicazione online, metti ‘Professore’. Ma il tuo conto bancario dice “Dr.” “Nota che tutte le mie carte bancarie di questa stessa banca hanno nomi diversi su di loro, quindi non è banale.
“Non importa.”
“Beh, devi sceglierne uno.”
“Dr., credo, quindi non confonderà nulla.”
Ha preso il resto delle mie informazioni, lo stesso che ho fatto online, e ha presentato la mia domanda all’algoritmo. Un secondo dopo disse: “È stato approvato al 3%. Ti invieremo i documenti per posta. ”
Si noti che l’errore apparente qui era abbastanza semplice. L’algoritmo della banca non mi ha riconosciuto come membro della banca, quindi non ho ricevuto la quota della banca. Non è riuscito a riconoscermi perché ho usato un titolo diverso.
Avevo scelto “Professore” online perché era quello che ero, ma il mio conto in banca diceva “Dr.”, che è anche quello che ero. Più specificamente, il Dr. è esattamente quello che ero quando mi sono iscritto alla banca. Se tu sei me, la differenza nei titoli è completamente irrilevante per qualsiasi cosa. Se la banca non ne chiedesse una, non la metterei.
Gli algoritmi che non hanno alcuna semantica dedicata alla comprensione di ciò che le parole significano non hanno modo di sapere quanto sia importante un titolo. Suppongo che se l’algoritmo avesse qualche tipo di comprensione delle informazioni con cui si stava occupando avrebbe detto a se stesso: “Il 99,9% di tutto ciò che questo candidato dice di se stesso è lo stesso di questo individuo che ha un account con noi. Soprattutto, questa persona dichiara di avere un account con noi e dichiara di avere un numero di conto. Anzi, vogliono i soldi inviati nel conto bancario di questo altro. Forse sono lo stesso ragazzo! ”
Ma l’algoritmo non lo ha fatto. Ha equiparato una differenza di titolo come una differenza completa. Potrebbe fare lo stesso se il numero dei miei dipendenti è cambiato? O se il mio partner è cambiato? Che dire delle persone che cambiano il loro cognome, il loro sesso o, a volte, ma non sempre includono suffissi come Junior? Cosa succede se recentemente mi sono trasferito o inserito il mio indirizzo in modo errato? Qual è il potenziale impatto di un errore di battitura? In questo caso, l’errore valeva circa $ 100 per $ 1000 presi in prestito.
Si noti che l’algoritmo, non esponendo il suo errore alla persona con cui ho parlato al telefono, ha reso quella persona stupida costringendoli a chiedermi un titolo che mi identificasse in modo errato, anche se sapeva già chi ero.
È facile dire che è stato un mio errore. Ovviamente, è stato un mio errore. A prima vista, sono l’unica persona che avrebbe potuto agire diversamente per cambiare il risultato.
Si potrebbe obiettare che furono i programmatori dell’algoritmo a commettere l’errore rendendo l’algoritmo incapace di vedere ciò che qualsiasi umano poteva chiaramente vedere. Ma questo si aspetta troppo da un algoritmo. L’algoritmo dovrebbe essere in grado di esprimere un giudizio soggettivo sul fatto che due persone potenzialmente diverse siano le stesse? Cosa succede se non lo sono?
Forse l’algoritmo dovrebbe essere in grado di annusare che qualcosa è sospetto e porre qualche altra domanda. Chiaramente, non siamo ancora arrivati.
Il problema in realtà non è chi è in colpa. Il vero problema è come insegneremo a noi stessi le carenze degli algoritmi. In un precedente articolo, ho scritto sulla salute mentale degli algoritmi. Le buffonate di questo algoritmo di prestito bancario aggiungono una nota umoristica a quell’articolo.
Mi ricorda l’uomo chiamato Shereshevsky nel libro di Luria, “La mente di un mnemonista”. Shereshevsky aveva un ricordo quasi perfetto. Poteva ricordare numeri e nomi e cosa stava accadendo in determinati giorni della sua vita. Ma a causa della sua memoria, ha anche avuto problemi con l’identificazione delle persone. Ricordava tutto così bene che se incontrava una persona che aveva un’espressione diversa, diventava una nuova persona. Bastava un semplice cambiamento di espressione per scacciare Shereshevsky. Shereshevsky non poteva generalizzare.
Anche l’algoritmo bancario non è stato generalizzabile. Era cieco a qualcosa che la maggior parte delle persone avrebbe considerato ovvio. Tuttavia, questo algoritmo potrebbe generalizzare in un’altra istanza. L’algoritmo è programmato esplicitamente per raccogliere le mie informazioni e per generalizzare tali informazioni ai rimborsi di prestiti di altre persone come me, in modo da poter calcolare il mio livello di rischio in base ai rischi che la banca aveva assunto su altre persone come me.
Poiché l’algoritmo non ha potuto generalizzare la mia identità ad altre istanze della mia identità, mi ha trattato in modo efficace come due persone diverse. Era un computazionale Shereshevsky, che trattava un uomo che sorride e più tardi aggrotta le sopracciglia come individui diversi.
La mia situazione è abbastanza benigna, ma dubito che sia sempre così. Gli algoritmi forniscono giudizi sull’assicurazione, sulle cure mediche e sul fatto che un segno sia un segnale di stop o un segnale di 50 miglia all’ora. È quasi certo che i robot militari identificheranno erroneamente le amicizie dagli obiettivi e probabilmente lo avranno già. Gli algoritmi vengono collocati in ruoli sempre più importanti, dove non solo i soldi, ma la vita e la salute sono in gioco.
In molti casi, gli algoritmi sono meno soggetti agli errori degli umani. Ma gli errori non sono solo minori, sono diversi. E questo è probabile che cambi il tipo di danno collaterale che dovremmo aspettarci dal loro utilizzo. Peggio ancora, è estremamente difficile discutere con un algoritmo perché poche persone sanno esattamente cosa sta facendo l’algoritmo. Forse meno di tutto, l’algoritmo stesso! In alcuni casi, potrebbe non esserci un singolo individuo che comprende il funzionamento completo dell’algoritmo. Quindi diventa difficile cambiare, migliorare e rilevare esattamente dove sta andando male.
Thomas Hills su Twitter
