Utilizzando ciò che funziona

Di Robert E. Slavin, Johns Hopkins University

Quando sei malato, cerchi medicine e trattamenti che sono stati rigorosamente valutati?

Quando acquisti una macchina, ti aspetti che sia stata rigorosamente testata per sicurezza?

Sostieni la ricerca in agricoltura per aumentare l'offerta e la qualità di cibo sano per il mondo?

Quasi tutti direbbero che preferirebbero ricevere servizi medici comprovati, acquistare prodotti sicuri ed efficaci, viaggiare su treni e aerei sicuri e così via. Le prove giocano un ruolo centrale in agricoltura, dove pratiche comprovate, semi, bestiame e pratiche veterinarie hanno enormemente aumentato la produttività, ridotto i costi e migliorato l'accesso e la qualità del cibo in tutto il mondo.

Tuttavia, nell'educazione, le prove hanno svolto un ruolo minimo nella pratica. La crema acneica di un adolescente ha dovuto dimostrare la sua sicurezza ed efficacia. Quindi, perché il suo curriculum di algebra non viene esaminato allo stesso modo? Si potrebbe sostenere che il ritmo rapido dei progressi in campi quali la medicina, l'agricoltura e la tecnologia ha molto a che fare con il rispetto delle prove in quei campi, mentre il lento ritmo dei progressi nell'istruzione riflette l'opposto.

Certo, c'è una grande quantità di ricerca in materia di educazione e psicologia dell'educazione, ei principi derivati ​​da quella ricerca influenzano la pratica. Tuttavia, la ricerca per sostenere (o rifiutare) i principi generali di pratica, pur essendo essenziale, non guida gli educatori nella scelta di testi, programmi, software o metodologie particolari. Finché la ricerca non supporta direttamente approcci specifici, è probabile che gli educatori individuino le parti del corpo delle conoscenze ricevute che a loro piace e ignorino il resto. È meglio che ignorare del tutto la ricerca, ma non porta all'adozione progressiva di strategie sempre più efficaci, come è normale in medicina, agricoltura, tecnologia e altri campi basati sull'evidenza.

Negli ultimi anni, il campo dell'istruzione ha iniziato ad assumere un ruolo più centrale per l'evidenza nella pratica e nelle decisioni educative. Questo movimento è chiamato Pratica basata sull'evidenza, o EBP. Brian Cook ha recentemente introdotto questo argomento e definito alcuni dei termini chiave. La mia intenzione è di fare un ulteriore passo avanti, di discutere come la pratica basata sull'evidenza stia iniziando a trasformare la pratica educativa e la psicologia dell'educazione, e come, come suggerisce il presidente Karen Harris, possiamo davvero "impattare l'educazione pre-K in grigio".

Cosa è considerato "Ricerca rigorosa"?

Uno dei requisiti chiave della pratica basata sull'evidenza è un insieme ampio e solido di programmi e pratiche con "prove rigorose dell'efficacia". Ciò che si intende per questo varia in diverse circostanze, ma il "gold standard" delle prove per l'evidenza basata la pratica è la sperimentazione clinica randomizzata, o RCT (Shadish, Cook, & Campbell, 2002). In un RCT, gli studenti, gli insegnanti o le scuole che accettano di partecipare a un esperimento vengono assegnati a caso per sperimentare un determinato trattamento o per fungere da gruppo di controllo (spesso, quelli nel gruppo di controllo ricevono il trattamento dopo che lo studio è finito ). In genere, gli studenti nei gruppi sperimentali e di controllo sono pretestati prima dell'inizio del programma e quindi post-testati una o più volte. I post-test vengono quindi confrontati statisticamente, controllando i pretests e possibilmente altri fattori.

La bellezza del RCT è che, a causa dell'assegnazione casuale, i gruppi sperimentali e di controllo possono essere considerati uguali a pretesto non solo su fattori osservabili, come pretese, ma anche su fattori non osservabili come motivazioni o orientamenti. Pertanto, se i risultati differiscono significativamente alla fine dell'esperimento, la differenza deve essere dovuta al trattamento.

Pragmaticamente, gli RCT possono essere difficili da implementare. È spesso difficile convincere studenti, insegnanti e dirigenti scolastici a essere assegnati in modo casuale. Poiché gli studenti vengono insegnati nelle scuole e nelle classi, è difficile assegnare casualmente gli studenti all'interno di scuole e classi, ad eccezione di trattamenti individuali come tutoraggio. Pertanto, le classi o le scuole sono spesso assegnate casualmente in quelli che vengono chiamati studi randomizzati a cluster (CRT). Ciò preserva la base dell'insegnamento del gruppo, ma tali esperimenti richiedono in genere un sacco di scuole, in genere circa 25 per trattamento, per metodi che tengono conto del clustering.

I progetti di ricerca meno standard rispetto all'oro, che di solito sono accettabili anche nella pratica basata sull'evidenza, comprendono quasi-esperimenti (QED), in cui gruppi sperimentali e di controllo sono abbinati in anticipo a fattori come pretest e demografia invece di essere assegnati in modo casuale. Una variante di questo è ciò che io chiamo un quasi-esperimento randomizzato (RQE), in cui i gruppi vengono assegnati in modo casuale ai trattamenti, ma ci sono troppi pochi gruppi per consentire l'uso di statistiche che tengono conto del clustering.

Che dire della ricerca oltre agli RCT?

Il movimento pratico basato sull'evidenza valuta tutti i tipi di ricerca: correlazionale, etnografica e descrittiva, oltre che sperimentale. La sua insistenza sugli RCT si applica solo alle domande su "cosa funziona". Per esempio, se vuoi sapere se un dato programma scientifico accresce i risultati scientifici più che una pratica comune, un esperimento è essenziale. Tuttavia, per altre domande, potrebbero essere preferibili altri metodi. Molti RCT usano anche metodi qualitativi per caratterizzare cosa stavano facendo le lezioni sperimentali e di controllo e come gli studenti e gli insegnanti percepivano i trattamenti.

Aggiunta di programmi provati

Il più rapido progresso nella riforma basata sull'evidenza ha comportato lo sviluppo e la valutazione di programmi a tutti i livelli di istruzione, in particolare pre-K a 12. Sotto i finanziamenti dell'Istituto di Scienze dell'Educazione (IES), National Science Foundation (NSF), e altre agenzie, numerosi programmi sono stati supportati. Negli anni più recenti, il programma Investing in Innovation (i3) dell'amministrazione Obama ha investito oltre 1,5 miliardi di dollari nello sviluppo, nella convalida e nel potenziamento di programmi comprovati. Finora sono stati finanziati un totale di 143 programmi. Nel Regno Unito, l'Education Endowment Fund (EEF) sta facendo investimenti simili.

Quello che IES, NSF, i3 ed EEF stanno scoprendo è che non è così facile migliorare i risultati degli studenti, ma può essere fatto. La maggior parte dei programmi finanziati non produce differenze significative, ma la minoranza ha un enorme potenziale per trasformare pratiche e politiche educative perché le loro scoperte sono tipicamente ottenute in contesti scolastici realistici e possono (in linea di principio) essere replicate ampiamente.

Riepilogo dei risultati

Per rendere le scoperte di una ricerca rigorosa facilmente disponibili e facili da interpretare, è importante avere revisioni che utilizzino standard coerenti ed equi per riassumere le prove. Nell'ambito dell'educazione, il Dipartimento dell'Istruzione degli Stati Uniti gestisce la What Works Clearinghouse (http://ies.ed.gov/NCEE/wwc). Il nostro gruppo alla Johns Hopkins University produce la Best Evidence Encyclopedia o BEE (www.bestevidence.org). Recentemente, i regolamenti amministrativi generali del dipartimento istruzione (EDGAR) hanno creato definizioni di prova moderata e forte di efficacia per i programmi di istruzione.

La pratica basata sull'evidenza influenza la politica e la pratica educativa?

Il movimento di pratica basato sull'evidenza sta appena cominciando a influenzare la pratica educativa oltre le scuole che partecipano alla ricerca stessa. Tuttavia, questo potrebbe cambiare.

Un'area di impatto è i3. Affinché i programmi ricevano maggiori convalide e concessioni di scala, è necessario mostrare prove di efficacia. Collettivamente, questi programmi hanno servito migliaia di scuole.

Un'altra area di impatto in via di sviluppo è il Federal School Improvement Grants (SIG), che supporta la trasformazione delle scuole con le migliori prestazioni in ogni stato. La recente legislazione ha definito una nuova categoria in cui le scuole potrebbero scegliere: programmi comprovati per tutta la scuola. Sarà interessante vedere quante scuole fanno questa scelta.

L'incoraggiamento a utilizzare programmi comprovati si sta rivelando in molte parti della legislazione federale. Ad esempio, nelle proposte SEED del Titolo II, i richiedenti devono mostrare prove per i loro programmi.

La politica può intervenire, ma con il passare del tempo sembra probabile che i requisiti di prova diverranno sempre più comuni nelle politiche federali, statali e locali.

In che modo la pratica basata sull'evidenza influisce sulla psicologia dell'educazione?

Credo che la pratica basata sull'evidenza sarà molto buona per tutta la ricerca educativa e la psicologia dell'educazione. Se prende piede nella politica e nella pratica, ciò aumenterà notevolmente l'interesse per la ricerca da parte di educatori, responsabili politici e finanziatori a tutti i livelli. La forza della pratica evidence-based in medicina non aumenta solo l'interesse e il finanziamento per gli RCT, ma supporta anche una vasta gamma di ricerche che utilizzano tutti i tipi di metodi. Lo stesso potrebbe accadere nell'educazione.

L'educazione è un campo applicato. Il governo, gli educatori e il pubblico si preoccupano dei risultati dell'istruzione e sono molto più propensi a preoccuparsi (e finanziare) la ricerca e lo sviluppo della psicologia dell'educazione quando possono vedere gli impatti sui bambini.

Vi è molta controversia legittima all'interno della psicologia educativa sui metodi di ricerca, le misure e gli scopi della ricerca. Questo dibattito è sano e necessario. Tuttavia, se si considera che l'obiettivo della psicologia dell'educazione come disciplina è migliorare l'istruzione, specialmente per i bambini a rischio, allora il movimento pratico basato sull'evidenza offre una reale speranza per rendere il nostro campo più interessante per i bambini. Non è quello che importa?

Questo post è la finale di una serie speciale che ha contribuito in risposta al tema presidenziale di Division 15 di Karen R. Harris, "Impacting Education Pre-K to Grey." Il presidente Harris ha sottolineato l'importanza dell'impatto sull'educazione mantenendo e arricchendo i modi in cui La ricerca sulla psicologia dell'educazione accresce e influisce sull'educazione a tutte le età. Tale impatto dipende dal trattare i punti di vista in competizione con attenzione e rispetto, consentendo così un lavoro collaborativo, trasversale / interdisciplinare che sfrutta ciò che conosciamo da diversi punti di vista. Ha anche sostenuto che dobbiamo mettere da parte i pregiudizi paradigmatici e rifiutare false dicotomie mentre esaminiamo la ricerca per la pubblicazione o il finanziamento, sviluppiamo la prossima generazione di ricercatori, supportiamo i ricercatori all'inizio della carriera e lavoriamo l'uno con l'altro e il campo più ampio.

Riferimenti

Shadish, WR, Cook, TD e Campbell, DT (2002). Disegni sperimentali e quasi sperimentali per inferenza causale generalizzata. Boston: Houghton-Mifflin.