Il libro di Michael Lewis Moneyball racconta la storia di come la Major League Baseball team, l'Oakland Athletics, ha smesso di fare affidamento sugli scout per giudicare il talento dei giocatori di baseball e si è rivolta alle analisi statistiche. Moneyball esprime uno dei temi preferiti di Lewis: i cosiddetti esperti non sanno cosa conta davvero e, per peggiorare le cose, sono molto fiduciosi nei loro giudizi. Non sanno quello che non sanno. Moneyball esprime anche un altro tema di Lewis preferito: outsider intelligenti che si oppongono ai cosiddetti esperti (vedi anche The Big Short). Moneyball è stato pubblicato nel 2003 ed è ancora un bestseller; è stato trasformato in un film interpretato da Brad Pitt nei panni di Billy Beane, il direttore generale della Oakland Athletics.
Lewis è uno scrittore sufficientemente talentuoso da non lasciare che i fatti interferiscano con l'intrattenimento. La sua versione degli eventi è ragionevole ma non del tutto accurata (ad esempio, vedi il saggio del 2012 di Will Braund, How true is Moneyball?) Queste imprecisioni non mi infastidiscono molto.
La mia vera preoccupazione è con il messaggio centrale di Moneyball . I miti che presenta sembrano prendere piede, non solo all'interno del pubblico in generale, ma all'interno della comunità di giudizio e decisionale i cui membri citano spesso Moneyball per sostenere le loro raccomandazioni professionali.
Questo saggio descrive i tre miti di Moneyball che mi preoccupano di più. E devo spiegare che il saggio non è un attacco a Michael Lewis. Ho molto apprezzato ciascuno dei suoi libri che ho letto e ne ho letto la maggior parte. L'ho anche incontrato per pranzo alcune volte e l'ho trovato spiritoso e affascinante. Sono un grande fan.
I miti di Moneyball sono necessari per raccontare la storia – un trattamento più sfumato non sarebbe diventato un bestseller. Sarebbe stato più adatto come articolo in un giornale professionale.
Tuttavia, quando vedo articoli reali in riviste specializzate che citano Moneyball , sento il bisogno di dare un avvertimento.
Ecco i tre miti che voglio esaminare più da vicino:
In primo luogo, gli esploratori di baseball non sanno quali giocatori sono veramente abili.
In secondo luogo, gli esploratori di baseball hanno una facciata di esperienza ma nulla di sostanziale.
In terzo luogo, gli esploratori di baseball sono allergici alle statistiche.
Esaminiamo queste tre affermazioni.
Claim # 1. Gli esploratori di baseball non sanno quali giocatori sono veramente abili. Fanno affidamento sui pregiudizi di esplorazione incluse le caratteristiche assurde. "Alcuni degli scout credevano ancora di poter capire dalla struttura del volto di un giovane non solo il suo personaggio, ma il suo futuro nel campo del professionismo. Avevano una frase che usavano: "The Good Face" (pagina 7).
Anche se accettiamo la premessa di Moneyball secondo cui le analisi statistiche hanno sovraperformato il giudizio degli scout, non risulta che i giudizi degli scout fossero inutili. Ricorda: prima dell'ampia disponibilità di dati sul baseball, tutto ciò che le squadre avevano a disposizione era il giudizio degli scout. Se quel giudizio fosse inutile, significherebbe che gli esploratori non erano in grado di identificare i giovani talenti più talentuosi dei fan sugli spalti. Non meglio delle persone selezionate a caso. E nessuno ha mai fatto quella ricerca.
Abbiamo aneddoti del contrario, come l'incidente del 1988 in cui uno scout aveva sentito parlare di un interbase a Panama senza addestramento come lanciatore che era entrato in sostituzione di un lanciatore in partenza e che aveva fatto bene. Lo scout ha guardato il lancio di shortstop / pitcher e ha apprezzato il suo movimento fluido e l'atletismo. Anche se ha pesato solo 155 libbre. e ha lanciato solo 85-87 miglia all'ora, l'esploratore lo ha firmato per un contratto da $ 2.500 con gli Yankees. Il suo nome era Mariano Rivera.
Aneddoti come questi non sono dati, ma non abbiamo dati. Per quanto ne so, nessuno ha paragonato il giudizio degli scout professionisti a un gruppo di controllo. Non sarebbe difficile – mostrare video di colpiti che oscillano a passi, o lanciatori che si snodano e lasciano andare, solo i movimenti, non i risultati. Alcuni dei videoclip mostrerebbero legami minori in procinto di essere rilasciati. Altri video clip mostrerebbero giocatori di successo. Oppure ottieni video clip dal Giappone, dalla Nippon Professional Baseball League e dalla relativa lega minore, in modo che i partecipanti non possano riconoscere i giocatori di successo.
Gli esploratori di baseball avrebbero fatto meglio dei controlli per identificare quelli che sono i leagers di successo e quali sono stati eliminati in fondo ai campionati minori? Forse non ci sarebbe differenza. Sospetto che gli esploratori avrebbero sovraperformato notevolmente i controlli.
Perché i ricercatori della decisione che tout Moneyball non sono stati scettici riguardo alla richiesta n. 1? Penso che sia perché l'affermazione # 1 si adatta ai loro preconcetti e non sentono il bisogno di testare quei preconcetti – che è la critica che Moneyball fa degli scout.
Claim # 2. Gli esploratori di baseball hanno una facciata di esperienza ma nulla di sostanziale.
Seguendo la rivendicazione 1, se gli esploratori hanno esperienza, allora in cosa consisterebbe? Una possibilità è che gli scout possano apprezzare l'atletismo e la meccanica.
Torna l'aneddoto di Mariano Rivera. Lo scout che guardava Rivera ammirava il suo movimento fluido. Allo stesso modo, gli scout potrebbero ammirare lo swing morbido di un battitore. Le statistiche non catturano questo tipo di sottigliezze. Ma lo vediamo in azione: i commentatori di baseball in TV commentano regolarmente il movimento di un lanciatore. Oppure useranno i replay per mostrare come un battitore sta "entrando nel secchio", compromettendo la sua abilità.
Prendi in considerazione altri sport. Durante le Olimpiadi estive, nella competizione subacquea esperti commentatori televisivi ci hanno avvertito quando un subacqueo ha ruotato troppo lontano per entrare in acqua in modo pulito, creando uno splash più grande. E, abbastanza sicuro, nel replay al rallentatore, abbiamo visto il problema. Tuttavia, il commentatore l'ha visto come è successo. Sicuramente ciò conta come esperienza, acquisita solo dopo innumerevoli ore di osservazione degli atleti che eseguono il loro mestiere.
Anche se gli esploratori di baseball possono avere abilità importanti, la loro capacità di giudicare il talento potrebbe essere ancora inferiore alle analisi statistiche. Anche se irrilevante per la tesi di questo saggio, questa osservazione dovrebbe essere presa in considerazione. E testato, confrontando i giudizi degli scout con quelli degli analisti, piuttosto che con un gruppo di controllo.
Presumibilmente, gli analisti utilizzerebbero le statistiche più avanzate attualmente disponibili. Quindi non ha molto senso confrontare questi analisti con il tipo di esploratori assurti a Moneyball . È giusto coinvolgere gli scout più avanzati – quelli selezionati da un rigoroso processo di controllo e quindi ulteriormente addestrati attraverso gli attuali metodi all'avanguardia per lo sviluppo delle competenze. In Superforecasting , Tetlock e Gardner hanno mostrato come sviluppare la competenza predittiva per quanto riguarda gli eventi mondiali – non può essere più difficile sviluppare competenze predittive negli scout di baseball. Mettiamo alla prova Moneyball .
Richiesta n. 3. Gli esploratori di baseball sono allergici alle statistiche. ("Billy diceva sempre a Paul che quando cerchi di spiegare la teoria della probabilità ai ragazzi del baseball, finisci per confonderli." 34).
Questa affermazione è divertente da fare, supportata da prove aneddotiche. Ma lo stesso Lewis descrive come gli esploratori di baseball usavano le statistiche. Semplicemente non stavano usando statistiche molto buone – si basavano sulle statistiche tradizionali in quel momento. Gli esploratori stavano studiando felicemente le medie in battuta dei battitori e le medie di Earned Run dei lanciatori. Gli esploratori non erano spaventati dai numeri. Essi dipendevano troppo da queste statistiche fuorvianti, non troppo poco.
Moneyball cita il lavoro di Bill James, che negli anni '70 e '80 ha mostrato cosa si poteva fare con i dati che stavano appena diventando disponibili. Ancora prima di leggere Moneyball avevo divorato molti dei libri di Bill James Abstract quando ho iniziato a giocare a fantasy baseball nei primi anni '90, e sono diventato subito un convertito al potere delle analisi statistiche nel baseball. Quindi questo saggio non sta criticando gli approcci statistici. Piuttosto, il saggio spiega perché potremmo voler ri-considerare il disprezzo accumulato sugli esploratori di baseball.
Moneyball è diventato una metafora del perché non dovremmo fidarci degli esperti. È una mostra di primo piano nella War on Experts. L'obiettivo di questa guerra è di svalutare esperti in una varietà di campi e raccomandare che gli esperti vengano sostituiti da algoritmi, liste di controllo e analisi. Questa raccomandazione è talvolta utile ma spesso spericolata e controproducente.
Naturalmente, il vero problema non sono gli scouts rispetto agli analisti, ma piuttosto come progettare strumenti statistici e computazionali per consentire agli scout e agli altri decisori di avere più successo. Ma avremo problemi nel perseguire questa strada se compriamo nei miti di Moneyball .
