Vogliamo linee guida pragmatiche per decidere quale, se qualche esperto presunto, ascoltare quando prende una decisione difficile e importante. Come possiamo sapere chi è davvero credibile?
In conclusione: non possiamo saperlo con certezza. Non ci sono criteri iron-clad.
Tuttavia, ci sono criteri morbidi, indicatori a cui possiamo prestare attenzione. Ne ho identificate sette finora, traendo spunto da carte come Crispen & Hoffman, 2016 e Shanteau, 2015, e su suggerimenti di Danny Kahneman e Robert Hoffman. Anche se nessuno di questi criteri è infallibile, tutti sembrano utili e pertinenti:
(a) Risultati ottenuti con risultati misurabili e in grado di prendere buone decisioni in passato. (Ma con un grande campione, alcuni lo facciamo molto bene solo per fortuna, come i raccoglitori di titoli che hanno definito con precisione la direzione del mercato negli ultimi 10 anni.)
(b) Rispetto dei pari. (Ma le valutazioni tra pari possono essere contaminate dal portamento sicuro di una persona o dall’articolazione fluente delle ragioni delle scelte).
(c) Carriera: numero di anni di esecuzione dell’attività. (Ma alcuni veterani di 10 anni hanno un anno di esperienza ripetuto 10 volte e, anche peggio, alcune vocazioni non offrono alcuna opportunità di feedback significativo).
(d) Qualità della conoscenza tacita come i modelli mentali. (Ma alcuni esperti potrebbero essere meno articolati perché la conoscenza tacita è per definizione difficile da articolare).
(e) Affidabilità. (L’affidabilità è necessaria ma non sufficiente. Un orologio che è costantemente lento di un’ora sarà altamente affidabile ma completamente impreciso).
(f) Licenza di credenziali o certificazione del raggiungimento di standard professionali. (Ma le credenziali indicano solo un livello minimo di competenza, non il raggiungimento di competenze.)
(g) Riflessione. Quando chiedo “Qual è stato l’ultimo errore che hai fatto?”, Gli esperti più credibili descrivono immediatamente uno svarione recente che li ha mangiati. Al contrario, gli operai che si presentano come esperti in genere dicono di non poterne pensare; sembrano sinceri ma, naturalmente, potrebbero fingere. E alcuni veri esperti, dopo essere stati interrogati sugli errori recenti, possono, per tutti i tipi di ragioni, scegliere di non condividere nessuno di questi, anche quelli su cui hanno rimuginato. Quindi questo criterio di riflessione e candore non è più infallibile degli altri.
Pertanto, anche se non possiamo saperlo con certezza, possiamo ancora formulare giudizi su chi considerare un esperto. Guarda il criterio (d) sopra. La conoscenza tacita include abilità percettive. Prendi in considerazione i commentatori di eventi olimpici come le immersioni. Vedono cose che non vediamo fino a quando non ci mostrano al rallentatore. Li chiamerei esperti. Il riconoscimento dei pattern è un altro aspetto della conoscenza tacita. I vigili del fuoco che studio usano il riconoscimento del modello per valutare le situazioni che mi sembrano sconcertanti – e gli eventi successivi confermano i loro giudizi. Li considero esperti. L’anticipazione è un altro aspetto della conoscenza tacita. A un incendio, sto osservando le dimensioni e l’intensità delle fiamme e speculando su quali attrezzature aggiuntive saranno necessarie. Ma i comandanti esperti stanno pensando a dove mettere in scena questo equipaggiamento, dove posizionare ciascun camion in modo che non possa intralciare altri camion o correre sui tubi. Sono molto più avanti di me. Li considero esperti. I modelli mentali sono un altro tipo di conoscenza tacita. Gli operatori di impianti petrolchimici che ho appena studiato possono descrivere le unità dell’impianto e il modo in cui sono connesse e il modo in cui funzionano, ma anche come non funzionano, come possono essere abbattute, come un evento sottile, ad esempio, il guasto di un sensore influisce sulle prestazioni e su come può essere rilevato e su come è possibile aggirarlo. Sono a conoscenza di cause e interazioni causali a cui non riesco nemmeno a immaginare. Li considero esperti.
Torna al pensiero preventivo. Durante la crisi dei missili a Cuba nel 1962, alcuni membri della squadra di John F. Kennedy volevano lanciare un attacco a sorpresa contro Cuba. Altri, i veri esperti, hanno sottolineato la probabilità che l’Unione Sovietica possa reagire con uno sciopero contro Berlino Ovest, che probabilmente innescherebbe una guerra nucleare. Quindi non stavano offrendo previsioni. Invece, stavano usando i loro modelli mentali per illustrare le implicazioni geopolitiche. Considero questo secondo gruppo come esperti. Hanno visto cose, visto implicazioni, che altri no.
Il mio punto qui è che il criterio (d) ci offre una grande quantità di leva nel fare una valutazione di chi è un esperto. Ci offre una misura transitoria – vedere cose che gli altri non fanno. Andare a verbale come vedere cose che risultano accurate. Questo è ciò che fanno gli esperti ed è ciò che li contraddistingue come esperti. Klein & Hoffman (1993) forniscono ulteriori discussioni su come gli esperti possono vedere l’invisibile, la conoscenza tacita che costituisce il nucleo della Strategia (d).
Questo vantaggio relativo, esperti rispetto al resto di noi, è una prospettiva diversa rispetto all’adozione di un criterio assoluto di quanto vicini siano gli esperti asseriti alla risposta effettiva. Quando le persone dimostrano di vedere cose importanti che non ho notato, è allora che decido di fare affidamento sulla loro esperienza. Non mi aspetto che saranno perfetti. Ma apprezzo che sono molto meglio di me, e meglio degli altri nella stanza.
Danny Kahneman (comunicazione personale) ha suggerito un’aggiunta alla strategia (d): dire cose originali che non sono sciocche. Questo è un altro modo in cui gli esperti si rivelano attraverso i loro commenti e osservazioni.
Punto minore: non vedo una precisa definizione o stadio di diventare un esperto. Lo vedo come un continuum, come un vantaggio relativo rispetto agli altri.
Ci sono esperti in ogni campo dell’impresa umana? Io non la penso così Ci sono campi che sono molto proceduralizzati. Le persone sono considerate degli esperti se sanno a quale pagina del manuale procedurale rivolgersi. Non li considero esperti, e non credo che ci siano esperti in ogni campo. In effetti, con un alto turnover vedo molti campi senza esperti.
E gli astrologi? Nelle ere pre-scientifiche, gli astrologi svilupparono una conoscenza tacita e furono molto articolati e furono considerati degli esperti. In un mondo pre-scientifico la gente non prenderebbe in considerazione la maggior parte dei criteri che ho elencato all’inizio di questo saggio. Escludiamo (a) prestazioni di successo e (d) qualità della conoscenza tacita e (e) misurazione dell’affidabilità e (f) certificazione professionale. Ciò lascia (b) rispetto tra pari e (c) carriera. Quindi, sì, in un mondo pre-scientifico, un astrologo molto articolato passa il raduno. Lo stesso di un selezionatore di titoli o di opinionisti politici televisivi fa ancora oggi.
Infine, esaminiamo l’affidabilità del criterio (e). Questo criterio è necessario ma non sufficiente. È necessario perché la credibilità degli esperti dipende dalla generazione delle stesse raccomandazioni date gli stessi input.
Alcune persone vorrebbero ampliare la nozione di affidabilità per coprire l’affidabilità tra esperti, ma Jim Shanteau (2015), uno dei maggiori esperti in materia, ha sottolineato che è importante avere diversi esperti che esprimono prospettive diverse. Spesso usiamo esperti, non come prognisticator, ma come consulenti e possiamo trarre beneficio dai loro punti di vista divergenti.
Quindi stiamo davvero cercando l’affidabilità all’interno di esperti. Shanteau ha dimostrato che l’affidabilità all’interno degli esperti varia in base al dominio. Per le previsioni del tempo che fanno previsioni a breve termine, l’affidabilità all’interno degli esperti è di .98. Per altri domini, è ancora considerevole, anche se molto ridotto, ma credo che sia ancora molto più alto che per i novizi, ad esempio r = 0,62 per gli ispettori dei cereali e r = 0,40 per gli psicologi clinici.
Tuttavia, non penso che possiamo semplicemente considerare l’affidabilità statistica. Penso che dobbiamo anche esaminare l’affidabilità del processo. Considerare l’affidabilità test-retest. Esegui un test di 10 elementi a Time-1 e quindi esegui lo stesso test a Time-2. Se ottengo 5/10 a Time-1 e 5/10 a Time-2, probabilmente lo conteremo come indicativo di affidabilità Test-Retest. Ho ottenuto lo stesso punteggio entrambe le volte.
Ma diciamo che ho ottenuto i primi 5 elementi proprio a Time-1 e ho ottenuto gli ultimi 5 elementi proprio a Time-2. Anche se ho ottenuto lo stesso punteggio di 5/10 entrambe le volte, la mia performance era completamente diversa. Il mio risultato mostra completa inaffidabilità, non affidabilità. Ecco perché sto sostenendo che abbiamo bisogno di un secondo criterio, un criterio di processo, oltre a quello statistico.
Inoltre, dobbiamo stare attenti con un criterio di affidabilità perché non vogliamo incoraggiare le persone a cercare un’affidabilità troppo elevata, il che incoraggerebbe la rigidità piuttosto che l’esplorazione continua che è fondamentale per diventare un esperto.
Quindi, sette criteri. Per essere considerato un esperto, una persona dovrebbe soddisfare almeno uno di questi criteri ed è probabilmente una buona idea aspettarsi che la persona soddisfi almeno due o tre dei criteri. Non dovremmo cercare di spuntare il numero di criteri soddisfatti perché anche la qualità è importante, in particolare con il criterio (d) la qualità delle idee di una persona. E dovremmo anche stare in guardia contro i criteri che potrebbero ingannare noi, come il portamento sicuro della persona.
Potremmo cercare di diventare più abili nell’individuare esperti, esprimere giudizi e ottenere feedback, e riflettere su ciò che dovremmo aver notato e su ciò che avremmo dovuto scartare. In tal modo, forse potremo sviluppare competenze per identificare esperti.
Riferimenti
Crispen, P. & Hoffman, RR (2016). Quanti esperti? IEEE Intelligent Systems, novembre / dicembre, 56-62.
Klein, GA, e Hoffman, RR (1993). Vedere l’invisibile: aspetti percettivi / cognitivi dell’esperienza. In M. Rabinowitz (a cura di), Fondamenti scientifici di scienze cognitive (pp. 203-226). Mahwah, NJ: Lawrence Erlbaum Associates.
Shanteau, J. (2015). Perché i domini delle attività (ancora) sono importanti per la comprensione delle competenze. Journal of Applied Research in Memory and Cognition, 4, 169-175.
