Ecco una regola empirica per voi: l’entusiasmo di un individuo sull’impiego di “dati” nell’educazione è direttamente proporzionale alla sua distanza dagli studenti effettivi. Normalmente i responsabili politici e gli economisti si riferiscono ai bambini nel complesso, apparentemente considerandoli principalmente come una fonte di numeri da scricchiolare. Lo fanno ancor più dei consulenti e dei soprintendenti, che lo fanno più dei presidi, che lo fanno più degli insegnanti. I migliori insegnanti, infatti, tendono a ritrarsi da un discorso serio sui vantaggi di “istruzioni guidate dai dati”, sull’uso di “allenatori di dati”, “muri di dati” e simili.
A peggiorare le cose, i dati in questione sono in genere solo punteggi dei test standardizzati, anche se, come ho spiegato altrove, non è l’unica ragione per essere disturbati da questo datamongering. E non aiuta quando il processo di quantificazione dei bambini (e dell’apprendimento) è ornato da aggettivi come “personalizzato” o “personalizzato”.
Ma ecco la domanda di oggi: se raccogliere e ordinare i dati sugli studenti ci mette a disagio, come dovremmo sentirci riguardo al ruolo crescente dei Big Data?
Iniziamo osservando che questo termine non sembra avere un unico significato preciso. Alcuni pensano che si riferisca solo alla raccolta di più informazioni numeriche. Alcuni dicono che si riferisce principalmente alle tecniche di modellazione statistica utilizzate per fare previsioni basate su qualunque dato sia stato raccolto. E almeno uno scrittore crede che il termine sia usato per lo più dalla critica – per riferirsi a un atteggiamento preoccupante nei confronti dei dati.
Per essere onesti, passare inosservati enormi quantità di descrittori numerici a volte ci consente di vedere i modelli e fare previsioni. Come una veduta aerea, offre una prospettiva unica che ha i suoi usi. Nel suo libro del 2014 Dataclysm , Christian Rudder è un caso di big data, e la sua persuasività può in parte basarsi sul fatto che è divertente, senza pretese, politicamente progressista e ama parlare di sesso. “Non sono i numeri a negarci la nostra umanità; è la decisione calcolata di smettere di essere umani “, sostiene a un certo punto.
Ma questo, temo, è solo una versione del vecchio canard che la tecnologia, di per sé, è neutrale, che tutto dipende da come viene usato. Ormai dovremmo renderci conto che i metodi lasciano un’impronta sugli obiettivi e in particolare la tecnologia ha un impatto causale. (Leggi Neil Postman’s Amusing to Death e Nicholas Carr’s The Shallows se non sei ancora convinto.) La riduzione spericolata degli esseri umani ai numeri è offensiva indipendentemente da ciò che viene fatto con quei numeri. Una visione aerea per definizione non riesce a catturare l’individualità delle persone sul terreno, e c’è un prezzo da pagare se passiamo i nostri giorni a guardare l’umanità – o persino la letteratura [1] – in questo modo.
Parte del problema è che finiamo per ignorare o minimizzare il significato di ciò che non si presta all’analisi dei dati. È piuttosto come la vecchia barzelletta sul ragazzo che cerca le sue chiavi perse di notte vicino a un lampione, anche se non è lì che le ha lasciate. (“Ma la luce è molto meglio qui!”) Nessuna meraviglia che la ricerca educativa – sempre più intrapresa dagli economisti – si basi sempre più su enormi set di dati che consistono in risultati di test standardizzati. Questi punteggi possono essere rappresentazioni schifose dell’apprendimento – e, invero, egregiamente fuorvianti. Ma, per gomma, sono sicuramente disponibili.
“Cosa rimane fuori?”, Quindi, è una domanda fondamentale da porre. Un altro è: “Chi ne beneficia?” Noam Scheiber, un giornalista che copre le questioni sul posto di lavoro, ha recentemente osservato che i big data stanno “aumentando in maniera massiccia l’asimmetria di potere tra sfruttatori e sfruttatori.” (Per ulteriori informazioni su questo, dai un’occhiata a Cathy O’Neil book Weapons of Destruction . [2]) E queste domande devono essere poste sui big data nell’istruzione tanto quanto altrove. Nel contesto della scuola K-12, come ho già notato, questo di solito comporta punteggi dei test standardizzati – non solo un esame sommativo, e spesso ad alto rischio, ma un regime implacabile di test (riconfezionato come “valutazione formativa”) è pensato per guidare l’insegnamento durante tutto l’anno. Ultimamente questa stessa sensibilità riduttiva sta lisciando nell’educazione superiore, con grande dispiacere di molti che insegnano lì, all’insegna della “valutazione dei risultati dell’apprendimento”.
Ma i “dati” al college possono anche riferirsi ai voti. [3] Un interessante caso studio è apparso all’inizio del 2017 in un account per lo più acritico apparso sul New York Times . Sembra che varie aziende abbiano convinto le università a pagare programmi informatici che utilizzano l’analisi predittiva per monitorare i progressi degli studenti, l’idea è di capire quando un basso livello in un determinato corso può essere associato a un rischio di abbandono ad un certo punto. “I nostri big data non hanno bisogno di sapere esattamente perché uno studente ottiene un brutto voto”, ha spiegato un amministratore. “Stiamo osservando uno schema.”
Ciò che gli analisti di dati stanno vendendo è la capacità di scricchiolare più numeri, di guardare non solo ai GPA ma ai gradi individuali dei corsi (di tutti gli studenti). Si noti che nessuno sta proponendo di individuare i problemi sedendosi con gli studenti e chiedendo loro come stanno andando le cose, almeno fino a quando il computer non segnala quelli che hanno problemi. La diagnosi del rischio si basa su ciò che il software dice sui propri voti piuttosto che su ciò che gli studenti stessi potrebbero dire.
Inoltre, siamo invitati ad accettare che se gli studenti non ottengono un buon voto in questo corso, probabilmente non lo faranno nemmeno – e questo riflette una mancanza con gli studenti piuttosto che con la qualità dei corsi – che cosa è insegnato e come. L’eccitazione per i big data: più numeri che mai! – è una distrazione seducente dal porre domande preoccupanti su ciò che rappresentano questi numeri. O quello che necessariamente escludono.
Per analogia, pensate a quelle affermazioni diffuse che “gli studi dimostrano” è vantaggioso far frequentare agli studenti corsi di matematica avanzati alle superiori. Tali asserzioni sono citate con riverenza nonostante il fatto che offrono un esempio da manuale di quello che viene chiamato un effetto di selezione: non è tanto che il calcolo aiuta gli studenti, ma il tipo di studenti che prendono il calcolo tenderebbe comunque a fare bene dopo. In secondo luogo, “benefico” spesso significa “correlato con il successo nei successivi corsi di matematica”, il che solleva la domanda sul perché la stragrande maggioranza degli studenti debba prendere qualcuno di loro. [4] (La ricerca dimostra anche in modo convincente che è vantaggioso prendere il latino 1 … nel senso che fare ciò migliorerà notevolmente i voti in latino 2). Il mio punto è che lo stesso vale per le dichiarazioni sul valore delle statistiche crunching a casa corsi di introduzione in cui è presumibilmente fondamentale per ottenere un buon voto.
Chiunque abbia osservato l’entusiasmo per addestrare gli studenti a mostrare più “grinta” o sviluppare una “mentalità di crescita” dovrebbe sapere cosa significa concentrarsi sulla riparazione del bambino in modo che lui o lei possa adattarsi meglio al sistema piuttosto che porre domande scomode sul sistema stesso. I big data ci forniscono fondamentalmente maggiori informazioni, in base ai voti, su quali bambini devono essere risolti (e come e quando), rendendo ancora meno probabile che qualcuno possa pensare di sfidare gli effetti distruttivi – ed esplorare alternative – della pratica di classificare gli studenti . [5]
L’analisi predittiva consente agli amministratori di credere di tenere d’occhio le loro accuse quando in realtà non stanno imparando nulla sull’esperienza del college di ogni studente, sui suoi bisogni, paure, speranze, credenze e stato mentale. La creazione di un set di dati “personalizzato” sottolinea quanto sia personale l’interazione con gli studenti, e potrebbe anche aggravare quel problema. Allo stesso tempo, questo approccio riduce gli esseri umani a una pila di dati sulle prestazioni accademiche, ma scoraggia anche il pensiero critico su come il sistema, compreso l’insegnamento e la valutazione, influisce su quegli esseri umani.
Nessuna di queste obiezioni viene affrontata raccogliendo dati su altri aspetti della vita degli studenti. Lo stesso articolo del New York Times descrive un esperimento con “rintracciare matricole … mentre strisciano i loro documenti di identità per andare in biblioteca o in palestra, pagare un pasto in mensa o comprare una felpa in libreria” nel tentativo di misurare “sociale interazione. “Questi frammenti di dati non ci permettono di affermare di conoscere un determinato studente. Né ci spingono ad esaminare i problemi strutturali sottostanti con la loro educazione. Ciò che l’espansione dei big data fa è sollevare ulteriori preoccupazioni sul Grande Fratello dal momento che vengono monitorate più attività degli studenti. (Suggerisce anche la preoccupante possibilità che alcune scuole possano segnalare agli studenti a rischio di non aiutarli ma di sbarazzarsi di loro in modo da migliorare il tasso di graduazione puntuale dell’istituzione.)
Quando gli educatori riducono gli studenti ai dati, perdono moltissimo. Quando si affidano ai big data, potrebbero peggiorare le cose.
GLI APPUNTI
1. Sì, i truffatori di numeri si sono dati il compito di trarre conclusioni sulla letteratura sulla base di tabulazioni computerizzate dell’aspetto di parole specifiche in una vasta raccolta di libri. Se la tua reazione è che qualcosa di importante è stato perso, la stessa reazione probabilmente sarebbe appropriata quando i big data sono portati a sostenere l’educazione o la psicologia.
2. Vedi anche Black Box Society di Frank Pasquale e questa bibliografia di altre recensioni. Per una breve rassegna delle preoccupazioni metodologiche – ricorda che i dati spesso ci dicono molto meno di quanto pensiamo, vedi questo saggio.
3. Questo dovrebbe essere un utile promemoria sul fatto che il problema non è solo con una metrica particolare, ma con l’eccessiva dipendenza dalla quantificazione stessa. Piuttosto che chiedere “Come misuriamo …?”, Educatori e responsabili delle politiche dovrebbero chiedere “Come valutiamo …?” Al fine di evitare di chiudersi nel sottogruppo di valutazione che richiede una riduzione dei numeri.
4. Sul primo punto, vedi il defunto Grant Wiggins, “Un diploma che vale la pena”, Educational Leadership , marzo 2011, pp. 31-2. Sul secondo punto, vedi Andrew Hacker, The Math Myth – And Other Stem Delusions (New Press, 2016). Vedi anche Nicholson Baker, “Risposta sbagliata: Il caso contro l’Algebra II”, Harper’s , settembre 2013, pp. 31-8.
5. Ho sentito che, sotto l’influenza del guru del management W. Edwards Deming, quando un operatore della catena di montaggio alla Toyota ha sbagliato, i gestori gli avrebbero stretto la mano e lo avrebbero ringraziato per aver contribuito a esporre un difetto di progettazione nel sistema. Questi manager si sono resi conto che il sistema è principalmente responsabile del successo o del fallimento delle persone in un luogo di lavoro – il che indica che premiare o punire le persone (ad esempio, con piani di incentivi e altri schemi di remunerazione) non è solo manipolativo e distruttivo di motivazione intrinseca ma anche semplicemente esercizio per non cogliere il punto.