Storie di guerra dal campo di battaglia di responsabilità: parte 2 di 2

Dopo aver lavorato a stretto contatto con 240 clienti, Steve Rees valuta i dati scolastici di CA.

Steve Rees, used with permission

Steve Rees

Fonte: Steve Rees, usato con permesso

Nella prima parte di questa intervista, Steve Rees ha condiviso conclusioni errate che alcuni educatori hanno tratto dai dati del California School Dashboard. In qualità di presidente e fondatore della School Wise Press, Rees è un esperto di dati sull’istruzione con una vasta esperienza che aiuta gli educatori di tutti i ruoli a fare un uso migliore dei dati. Dopo aver lavorato a stretto contatto con 240 clienti del distretto scolastico nel corso di 14 anni per dare un senso ai segni vitali delle scuole, Rees ha sviluppato workshop e corsi nonché strumenti di misurazione per aiutare i dirigenti scolastici e distrettuali a ottenere informazioni preziose e affidabili dai dati. In realtà, la sua azienda ha un nuovo partner – Teachers College presso la Columbia University – per aiutarli a far avanzare la causa.

I componenti della responsabilità scolastica variano da stato a stato (le valutazioni degli studenti presentano variazioni anche se fornite negli stati che fanno parte dello stesso consorzio, i risultati sono riportati in modi diversi, ecc.). Qui Rees continua a darci un assaggio di alcune storie di guerra sulla responsabilità della California che lo spingono a migliorare l’uso dei dati sul campo.

Jenny Rankin (JR): alcuni di questi problemi sono dovuti agli strumenti di misurazione dei dati stessi?

Steve Rees (SR): Questi test – in California, gli studenti fanno un test molto simile ai test fatti in una dozzina di altri stati che sono tutti nel Consorzio Balanced Smarter – essi stessi hanno dei limiti. Condivido l’affermazione di Jim Popham secondo cui non sono gli stessi test a causare problemi . È ciò che Popham chiama “abissale alfabetizzazione delle valutazioni” degli educatori stessi che portano a malversazioni, incomprensioni e errori nel giudizio umano. È incomprensibile ciò che i risultati del test significano che è il problema principale .

Prendi una dimensione dei risultati della valutazione: margine di errore . In California, non si fa menzione del margine di errore nelle relazioni che vengono spedite a casa ai genitori o consegnate agli insegnanti di classe. Solo i distretti che hanno la fortuna di avere direttori di valutazione sul personale (circa 1 su 8 distretti) vedono anche le dimensioni del margine di errore di studenti, aule, scuole e distretto. Questo è un grosso problema. Ecco perché. Ognuno di questi test ha tra 35 e 45 domande. Le risposte di uno studente forniscono una stima ragionevole della sua padronanza di quegli standard che sono comparsi nel test. Ma la stima ti consente di dire solo questo sul punteggio di uno studente: “Il punteggio di Gabriela ai test di matematica del 6 ° grado è stato 2490. Siamo abbastanza sicuri che se avesse fatto il test il martedì invece del lunedì che avrebbe ottenuto il punteggio entro 27 punti da quel punteggio di 2490. “Nascondere quell’incertezza e l’imprecisione spinge le persone a investire troppo significato in questi punteggi.

Ma peggiora. I risultati di questi test sono utilizzati per valutare le dimensioni dei divari di rendimento tra ragazzi e ragazze, gli studenti che ricevono e non ricevono sussidi per il pranzo e gli studenti di vari gruppi etnici. Tre problemi offuscano una comprensione più chiara delle dimensioni e del significato di queste lacune. In primo luogo, il mascheramento di imprecisione e incertezza rende impossibile stimare il divario stimato a chiunque, a parte uno statistico. In secondo luogo, il test non è stato progettato per acquisire tutte le informazioni sugli studenti con punteggio più alto e più basso. Ciò che gli psicometristi chiamano “diffusione” è necessariamente limitato. Ciò significa che le persone stanno sottovalutando le dimensioni delle lacune. In terzo luogo, il Dipartimento della Pubblica Istruzione della California ha infuso un errore logico nel suo sistema di responsabilità. Il loro cruscotto ufficiale confronta ogni gruppo etnico con lo stato di tutti gli studenti in ogni scuola o distretto, in effetti includendo un’entità nel punto di riferimento su cui si sta misurando. Dovrebbero avere entità accoppiate per scopi di confronto, naturalmente: ragazzi e ragazze, bambini e bambini che non hanno pranzi gratis.

JR: In che modo le prove difettose fanno male quando i leader distrettuali prendono decisioni importanti?

SR: Quando i dirigenti distrettuali si siedono per costruire i loro piani per il prossimo anno scolastico, prendono le prove consegnate loro dal Dipartimento dell’Istruzione della California e decidono dove vedono problemi di pratica, aree in cui i loro segni vitali sembrano essere in ritardo. Poi decidono di spendere soldi e assegnano il prezioso tempo degli insegnanti per migliorare le cose. Se mirano a quelle risorse a “problemi” che non sono affatto problemi e mancano sfide più convincenti a causa di prove errate, allora i soldi e il tempo sono sprecati e le opportunità di apprendere per gli studenti che ne hanno bisogno sono perse.

Mi piacerebbe che i distretti costruissero i propri corpi di prova dai quali misurano il loro punto di vista, rispetto agli altri i cui bambini e comunità sono più simili ai loro. Se vedessero le prove che sono state trasmesse dallo stato con una dose di scetticismo, sarebbe un buon inizio. In effetti, la legge e la politica statali della California hanno esplicitamente incoraggiato i distretti a prendere il controllo locale. Se esercitavano questo controllo locale quando misuravano i segni vitali delle loro scuole e del loro distretto, sarebbero molto più propensi a prendere decisioni più sagge.

JR: Grazie per il tuo tempo e per tutto ciò che fai per educatori e studenti.