Di Scott C. Marley
Il tema presidenziale di Division 15 di quest'anno è "Impacting Education Pre-K to Grey", il che significa che il nostro campo desidera avere un impatto positivo su tutte le popolazioni di studenti. Un modo chiaro per influire sull'educazione con tutte le popolazioni è quello di affrontare i problemi che sono stati identificati in letteratura come "crisi di replica". La bellezza della crisi di replica è che fornisce ampie opportunità di crescita significativa nel campo della psicologia dell'educazione. La mia posizione è che gli educatori spesso non rispondono all'esecuzione di pratiche basate sull'evidenza a causa di considerazioni sulla credibilità associate alla replicabilità e al relativo problema di generalizzabilità. Esistono approcci sistematici per affrontare queste due considerazioni che sono spesso trascurate dai produttori e dai consumatori della ricerca educativa. Ma in primo luogo, fornisco un esempio concreto dei miei giorni di insegnante che illustrano le sfide di credibilità che la psicologia dell'educazione deve affrontare se, come campo, sarà rilevante per i leader educativi "Pre-K to Grey". Quindi, fornisco una motivazione per cui "è necessaria più ricerca", ma, cosa più importante, suggerisco che ciò che è necessario è una ricerca più credibile tra unità, trattamenti, risultati e impostazioni.
All'inizio della mia carriera, ero un insegnante di quarta elementare in una riserva indiana rurale americana. I bambini della comunità erano prevalentemente studenti di seconda lingua provenienti da famiglie a basso socioeconomico. Le scuole del distretto sono state identificate come a basso rendimento o insufficienti e, in risposta, alle scuole è stato richiesto di agire adottando "pratiche basate sull'evidenza". Sebbene io sia un sostenitore degli educatori che usano prove scientifiche per prendere decisioni, lo considero importante per i produttori e i consumatori di riconoscere i limiti della letteratura sulle pratiche basate sull'evidenza (per la discussione pertinente vedi, Marley & Levin, 2011). Senza una forte comprensione di questi limiti, si rischia di cadere vittima di due forme di "pio desiderio" che possono portare a un ingiustificato ottimismo nell'efficacia degli interventi educativi.
La prima forma di pio desiderio è la convinzione che un intervento possa risolvere problemi educativi molto complessi con tutte le popolazioni. Questa convinzione coincide con l'idea che un intervento può essere dimostrato efficace piuttosto che supportato dalle prove che suggeriscono l'efficacia di un intervento. La dimostrazione presuppone una perfetta conoscenza dell'efficacia dell'intervento, mentre un focus sulle migliori evidenze riconosce che la conoscenza è sempre incompleta e soggetta a cambiamenti (per discussioni rilevanti vedi Guba e Lincoln, 1994). La seconda forma di pio desiderio è la convinzione che un risultato sia il risultato di una singola causa conoscibile (ad esempio, "il risultato di una lettura povera è dovuto all'istruzione <inserire l'aroma meno preferito>"). Secondo i pensatori desiderosi, tutto ciò che si deve fare è trovare la pallottola magica, attaccare la singola causa con essa e il problema è risolto. È così semplice !! Dovremmo farlo ora !! Perché non abbiamo iniziato ?! Ma le soluzioni ai problemi educativi non sono quasi mai ovvie o facili.
Ci sono probabilmente molte ragioni per cui gli educatori sono scettici riguardo al valore della ricerca educativa, alcuni dei quali possono essere affrontati dagli psicologi dell'educazione. Una potenziale spiegazione che può essere affrontata è che gli educatori possono riconoscere informalmente che la ricerca educativa ha problemi di credibilità (Hsieh et al., 2005). Ad esempio, dopo essere stato designato "a basso rendimento", la mia scuola di prenotazione è stata risanata da cosiddetti esperti che non avevano mai insegnato in una riserva rurale. La loro raccomandazione principale era che la scuola adottasse un intervento basato sull'evidenza. A quel tempo, avevo il senso del contesto in cui le prove a sostegno dell'intervento proposto erano state raccolte differivano sostanzialmente dal contesto in cui stavo insegnando. In altre parole, la generalizzabilità dell'intervento basato sull'evidenza era discutibile. La generalizzabilità dei risultati della ricerca, insieme al relativo problema della replicabilità, potrebbe benissimo essere il motivo per cui "è necessaria più ricerca" in contesti mirati, ora più che mai. Tuttavia, aggiungiamo a questa frase comune trovata alla fine dei documenti empirici in modo che legga "è necessaria una ricerca più credibile ". Replicazione e generalizzabilità sono due indicatori di credibilità (per ulteriori informazioni su altri importanti indicatori di credibilità, vedi Levin, 1994, 2004) che richiedono maggiore attenzione prima che i ricercatori, i consulenti e gli altri ricercatori ottengano risultati troppo pesanti con le loro raccomandazioni educative.
Il primo indicatore di credibilità prima di formulare raccomandazioni educative è che i risultati devono essere replicati per determinare se un particolare risultato è robusto o un'anomalia (per una discussione dettagliata, vedi Schmidt, 2009). Una preoccupazione è che le scienze sociali possono avere un bias di pubblicazione associato alla pubblicazione di risultati positivi che sono anomalie. La seconda preoccupazione è che le repliche vengono raramente pubblicate nei periodici di istruzione (Makel & Plucker, 2014). La mancanza di studi di replica è spesso attribuita a editori di riviste, revisori e agenzie di concessione che si aspettano novità. In tal caso, concentrarsi sulla novità dei risultati potrebbe promuovere strutture di ricompensa che riducano al minimo il valore degli studi di replica (Koole e Lakens, 2012). Una mancanza di studi di replica limita chiaramente in che misura possiamo trarre conclusioni sull'efficacia di un approccio didattico. Questa limitazione non è spesso menzionata nelle raccomandazioni che accompagnano varie pratiche basate sull'evidenza.
Il secondo requisito è di esaminare attentamente la generalizzabilità delle scoperte per assicurare un alto grado di validità esterna prima di formulare raccomandazioni per gli educatori (Shadish, Cook, & Campbell, 2002). Si possono esprimere preoccupazioni riguardo agli studi che esaminano l'efficacia degli interventi didattici utilizzando campioni di studenti universitari o altri campioni "unici". Con "unico", intendo i campioni di partecipanti che si sono ricordati di riportare il loro modulo di consenso dei genitori con una firma, i partecipanti che accettano di completare i sondaggi o altri modi comparabili in cui un campione può differire dalle popolazioni esistenti in natura.
In che modo i produttori e i consumatori della ricerca educativa possono affrontare le sfide associate all'applicazione dei risultati della ricerca educativa? Come campo, possiamo guardare agli Standard per i test educativi e psicologici (AERA, APA, & NCME, 1999) come guida. Gli standard testano direttamente i produttori e gli utenti delle condizioni in cui è più probabile che derivino inferenze valide dai punteggi dei test. Diversi standard sottolineano che le popolazioni non sono intercambiabili e che i produttori e gli utenti di test devono esaminare come i punteggi delle materie si presentano in un nuovo contesto. In altre parole, ci si aspetta che le repliche assicurino che i punteggi dei test siano correttamente interpretati in contesti che differiscono sostanzialmente dal contesto iniziale. Un approccio simile è giustificato dalla ricerca di intervento se la base della letteratura deve essere considerata credibile al punto che i professionisti possono prendere decisioni informate. Sono stati proposti diversi quadri per migliorare la generalizzabilità dei risultati della ricerca. Uno di questi sarebbe quello di incorporare i classici problemi di generalizzabilità proposti da Cronbach (Cronbach e Shapiro, 1982) per replicare ed estendere il modello della ricerca programmatica. Fare ciò darebbe molta credibilità alla base della letteratura.
Secondo il classico framework UTOS di Cronbach, gli esami di generalizzabilità possono verificarsi in U nits, T reatments, O utcomes e S izi. Ciascuna delle componenti del framework fornisce ampio spazio problematico ai ricercatori per replicare ed estendere i risultati della ricerca e per i consumatori valutare il grado di fiducia che dovrebbero avere in un intervento. Forse i redattori di riviste, i revisori e le agenzie di finanziamento sarebbero più propensi a prendere in considerazione la pubblicazione e il finanziamento di studi collocati esplicitamente all'interno di un framework UTOS replicato-estendere e mettere meno peso sulla novità delle idee e dei risultati iniziali? Se si dovesse verificare una ricerca credibile che impatta tutte le popolazioni da "Pre-K a Grey", è probabile che questo o approcci sistematici comparabili alla replica e alla generalizzazione dei risultati portino frutti. Nel frattempo, se i lettori sono interessati ad unirsi alle discussioni relative alla replica e alla generalizzazione alla conferenza APA di quest'anno a Toronto, si prega di prendere in considerazione la programmazione collaborativa che la Divisione 15 ha con altre divisioni sulla "crisi delle repliche" elencata di seguito.
Titolo della sessione: La crisi della replica: cosa ci ha portato qui e dove dobbiamo andare
Tipo di sessione: Symposium
Data: Gio 08/06 10:00 – 11:50
Divisione / sponsor: CPG-Central Programming Group; Co-elenco: 30, 3, 5, 6, 10, 15, 24, 26
Edificio / Stanza: Centro congressi / Sala 716A Sud Edificio Livello 700
Riferimenti:
American Educational Research Association, American Psychological Association e National Council on Measurement on Measurement in Education. (1999). Criteri per il test psicologico e di educazione. Washington, DC: American Psychological Association.
Cronbach, LJ, & Shapiro, K. (1982). Progettare valutazioni di programmi educativi e sociali . Pub Jossey-Bass Inc.
Guba, EG, & Lincoln, YS (1994). Paradigmi competitivi nella ricerca qualitativa. Manuale di ricerca qualitativa , 2, 163-194.
Hsieh, P., Acee, T., Chung, W.-H., Hsieh, Y.-P., Kim, H., Thomas, GD, Levin, JR, Robinson, DH (2005). La ricerca sull'intervento educativo è in declino? Journal of Educational Psychology , 97 (4), 523.
Koole, SL, & Lakens, D. (2012). Repliche gratificanti un modo sicuro e semplice per migliorare la scienza psicologica. Perspectives on Psychological Science , 7 (6), 608-614.
Levin, JR (1994). Elaborazione di una ricerca di intervento educativo che sia credibile e credibile. Rassegna di psicologia educativa, 6 (3), 231-243.
Levin, JR (2004). Pensieri casuali sulla (in) credibilità della ricerca di intervento psicologico-educativo. Psicologo dell'educazione , 39 (3), 173-184.
Marley, SC, & Levin, JR (2011). Quando sono giustificate le dichiarazioni prescrittive nella ricerca educativa? Rassegna di psicologia educativa, 23 (2), 197-206.
Schmidt, S. (2009). Lo faremo davvero ancora? Il potente concetto di replica è trascurato nelle scienze sociali. Revisione di Psicologia generale , 13 (2), 90.
Shadish, WR, Cook, TD e Campbell, DT (2002). Disegni sperimentali e quasi sperimentali per inferenza causale generalizzata. ew York, NY: Houghton Mifflin.
