Dagli scimpanzé agli Champs

Sono turbato dal modo in cui alcuni professionisti assumono un atteggiamento sprezzante e persino sprezzante nei confronti degli esperti.

Gli esperti hanno competenze che vanno ben oltre qualsiasi cosa il resto di noi possa fare. Vedono cose che sono invisibili agli altri. Fanno collegamenti e inferenze che non avremmo mai pensato. Trovano problemi che ci mancherebbero fino a quando non fosse troppo tardi. Gran parte della mia carriera ruota intorno a esperti di studi, cercando di imparare alcuni dei loro segreti.

Certamente, gli esperti in un campo non sono mai perfetti. Possono essere troppo sicuri di sé. Possono essere scambiati. Quindi è ragionevole prendere una visione scettica degli esperti, specialmente quando gli esperti si auto-proclamano, come i sapientoni dei notiziari televisivi. Un sano scetticismo invita a capire quanto è buono un esperto e cosa serve per diventare un esperto.

Ciò che mi disturba è un'attitudine che va oltre il sano scetticismo e il disprezzo al ginocchio – che gli esperti in un campo, in ogni campo, non dovrebbero essere presi sul serio.

Ho incontrato per la prima volta segni di questo atteggiamento sprezzante quando ho partecipato a conferenze sul giudizio e sul processo decisionale. I ricercatori della tradizione euristica e Biases hanno riportato con gioia esperimenti che dimostrano che anche gli esperti sono caduti in preda ai pregiudizi. Nel 1971 Tversky e Kahneman riferirono che gli esperti statistici facevano scelte sbagliate quando seguivano la loro intuizione sulla generalizzazione da piccoli campioni. McNeil et al., (1982) riportarono che i medici esperti erano altrettanto suscettibili agli effetti di framing su come trattare il cancro del polmone come studenti laureati e pazienti ambulatoriali. Persino gli esperti erano intrinsecamente prevenuti nei loro giudizi. La lezione era: non puoi fidarti degli esperti.

Il campo del giudizio e del processo decisionale attribuisce particolare importanza al lavoro di Paul Meehl (1954), che ha condotto una serie di studi che dimostrano che i modelli statistici lineari hanno superato o eguagliato i giudizi clinici degli esperti, suggerendo che sarebbe stato meglio sostituire i giudizi degli esperti con quelli dei modelli statistici. (Ciò che non presta molta attenzione è che i fattori caricati nei modelli statistici lineari provenivano dagli stessi esperti: il vantaggio principale delle statistiche era di aumentare la coerenza).

Un articolo di Kahneman e Klein (2009) ha messo bruscamente la questione: "La posizione di base dei ricercatori di euristica e di Biases, dal momento che considerano esperti, è uno di scetticismo. Sono addestrati a cercare opportunità per confrontare le prestazioni degli esperti con le prestazioni con modelli o regole formali e ad aspettarsi che gli esperti facciano scarsi risultati in tali confronti. "(P 518)

Quindi ho notato questo atteggiamento sprezzante nei confronti degli esperti per molti anni, ma poi qualche mese fa è successo qualcosa che mi ha veramente allarmato.

Un mio collega, Joseph Borders, è stato contattato da un manager di una grande azienda petrolchimica sulla creazione di un programma di formazione sulle competenze cognitive per gli operatori di pannelli che controllano le unità massicce all'interno di un impianto di produzione. Questi operatori di pannello lavorano sotto uno stress tremendo. Se chiudono inutilmente un impianto, i costi della mancata produzione possono arrivare a milioni di dollari. Ma se non riescono a chiudere un impianto malfunzionante, possono innescare un'esplosione che ha conseguenze ancora maggiori in termini di dollari e vite. Joey e io potevamo capire perché il direttore dell'impianto avrebbe voluto creare esperienza negli operatori del pannello.

Tuttavia, il progetto non è mai venuto fuori. Mesi dopo, il manager ci ha spiegato timidamente che il piano per costruire le competenze dei panel operator era stato bloccato da un superiore che ha spiegato che l'impianto non aveva bisogno dei suoi operatori di pannello per prendere decisioni migliori perché gli operatori erano irrimediabilmente prevenuti. Invece, intendeva prendere la decisione presa dalle loro mani e affidarsi invece ad una sorta di Intelligenza Artificiale.

Ovviamente, sono rimasto sbalordito da questa spiegazione. Non solo la fede dell'esecutivo nell'intelligenza artificiale era fuori luogo (la conoscenza tacita necessaria per individuare i segnali sottili può richiedere anni per svilupparsi), ma la sfiducia dell'esecutivo nei confronti degli operatori del pannello sembrava un atteggiamento molto pericoloso. E se i dirigenti delle centrali petrolchimiche stanno ora agendo sulla loro paura di pregiudizi nei loro panel operator, ciò suggerisce quanto lontano sia arrivata la campagna per screditare gli esperti.

Da dove viene questa paura degli esperti? In gran parte dalla comunità euristica e Biases, e gli studi dimostrano che gli esperti dimostrano gli stessi pregiudizi dei novizi. Questi risultati danneggiano la reputazione degli esperti.

Certo, la situazione potrebbe non essere così triste come affermano gli scettici. Innanzitutto, l'effetto dei pregiudizi del giudizio può essere sopravvalutato. Diversi studi hanno scoperto che i pregiudizi di giudizio e di decisione diventano più deboli o scompaiono quando alle persone vengono assegnati compiti naturalistici piuttosto che artificiali. In secondo luogo, i pregiudizi derivano dal nostro uso dell'euristica e l'euristica è molto utile. La comunità di Euristica e Biases ha eseguito poche o nessuna ricerca sui benefici dell'utilizzo dell'euristica; questi benefici devono superare di gran lunga gli inconvenienti. In terzo luogo, le persone che sono più inclini a utilizzare l'euristica e commettere pregiudizi e che violano i precetti delle statistiche bayesiane, fanno molto bene nella vita. Berg & Gigerenzer (2010) hanno riferito di aver guadagnato più denaro e di avere credenze più accurate rispetto alle persone che si sono allineate con le strategie di scelta razionale.

Quindi, dove ci lascia questo? Ci sono una serie di motivi convincenti per cui le persone vogliono ignorare le competenze. Non credo che queste ragioni reggano bene al controllo, ma non importa se non vengono esaminate attentamente. Non importa se l'unico messaggio che emerge è che dobbiamo prendere le decisioni dalle mani degli esperti.

Pertanto, penso che dobbiamo essere più energici nel trasmettere un messaggio diverso, che l'esperienza conta. Dobbiamo condurre più ricerche e raccogliere più prove a dimostrazione di ciò che gli esperti sono in grado di realizzare. Un esempio è il lavoro di Jim Staszewski (2008), professore alla Carnegie Mellon University. L'esercito americano ha speso $ 38 milioni nello sviluppo di dragamine migliorati, ma quando sono stati testati non hanno fornito alcun vantaggio rispetto al modello precedente, entrambi avevano un tasso di rilevamento del 20%. Staszewski e i suoi colleghi hanno individuato due ingegneri dell'esercito che avevano padroneggiato la nuova attrezzatura. Una volta testati, questi esperti hanno raggiunto risultati straordinari, oltre il 90% dei tassi di rilevamento. Il team di ricerca ha quindi costruito un corso per insegnare ai nuovi ingegneri dell'Esercito come utilizzare in modo efficace il nuovo tipo di dragamine. Questo è ciò che gli esperti possono comprarti.

Kahneman e Klein (2009) hanno identificato le condizioni necessarie affinché le persone acquisiscano competenze intuitive: un ambiente ragionevolmente ben strutturato piuttosto che caotico e l'opportunità di un feedback significativo su giudizi e decisioni. Abbiamo concluso che, secondo le parole di Kahneman, "una psicologia del giudizio professionale che ignora le capacità intuitive è seriamente ammaccata" (p 525).

Phil Tetlock illustra il tipo di transizione che può invertire la tendenza. Tetlock (2005) ha riportato i risultati di uno studio sull'accuratezza delle previsioni dei principali esperti e esperti, a fronte di obiettivi di previsione chiari (ad esempio, "Dovremmo aspettarci nei prossimi dieci anni una spesa per la difesa in percentuale della spesa pubblica per aumentare, diminuire o restare lo stesso?"). I risultati sono stati tristi – non molto meglio di quanto non sarebbe stato ottenuto da un dardo di lancio di scimpanzè. Tetlock ha concluso che "l'umanità riesce a malapena a battere lo scimpanzé" (pagina 51). Naturalmente, gli esperti scettici erano entusiasti.

Tuttavia, dieci anni dopo Tetlock faceva parte di un gruppo di ricerca guidato da Barbara Mellers che tentava di sviluppare competenze di previsione. E ci sono riusciti, come descritto nel libro Superforecasting di Tetlock and Gardner (2015). Tetlock ha mostrato che i dilettanti, non facenti parte di alcuna agenzia governativa, erano in grado di sovraperformare i professionisti del pronostico e vincere un campionato di previsione. Questi superforecaster non erano solo fortunati. Hanno sostenuto i loro alti livelli di precisione delle previsioni per diversi anni. Certo, il 30% dei superforecast è uscito dai primi ranghi del campione, ma il 70% è rimasto al top. La loro performance derivava dalla ricerca, dall'analisi, dall'autocritica e dalla raccolta delle prospettive degli altri. Hanno lavorato duramente per sviluppare e mantenere il loro livello di competenza e ci sono riusciti magnificamente.

Nel primo progetto Tetlock, gli esperti non erano molto migliori degli scimpanzé. Nel secondo progetto, erano campioni. L'apprezzamento degli esperti di Tetlock è cambiato mentre lavorava con loro e li guardava in azione. La sua transizione dovrebbe ispirare gli altri a scuotere i loro pregiudizi sugli esperti e prendere più seriamente l'esperienza.