Nel mio ultimo post, ho discusso la natura del coinvolgimento del processo di pensiero critico (CT) e ho fatto menzione di individui che traggono conclusioni e finiscono per essere corretti. Ma, solo perché hanno ragione, non significa che abbiano usato CT per arrivarci. Ho esemplificato questo attraverso un’osservazione fatta negli ultimi anni riguardo alle misure esistenti di CT, molte delle quali valutano la TC attraverso domande a scelta multipla. Nel caso degli MCQ CT, puoi indovinare la risposta “giusta” il 20-25% delle volte, senza bisogno di CT. Quindi, la domanda è: queste misure CT stanno davvero misurando la CT?
Come i miei articoli precedenti spiegano, la CT è un processo metacognitivo costituito da un numero di sub-abilità e disposizioni, che, se applicate attraverso un giudizio riflessivo di autoregolamentazione, aumentano le possibilità di produrre una soluzione logica a un problema o una valida conclusione di un argomento (Dwyer, 2017; Dwyer, Hogan & Stewart, 2014). La maggior parte delle definizioni, sebbene formulate in modo diverso, tendono ad essere d’accordo con questa prospettiva – consiste in certe disposizioni, abilità specifiche e una sensibilità riflessiva che governa l’applicazione di queste abilità. Ecco come è definito; tuttavia, non è necessariamente come è stato definito operativamente .
La definizione operativa di qualcosa si riferisce alla definizione dei termini del processo o della misura richiesta per determinare la natura e le proprietà di un fenomeno. Semplicemente, sta definendo il concetto rispetto a come può essere fatto, valutato o misurato. Se il modo in cui misuri qualcosa non corrisponde, o valuta i parametri impostati nel modo in cui lo definisci, allora non hai avuto successo nel definirlo operativamente .
Sebbene la maggior parte delle definizioni teoriche di CT siano simili, il modo in cui variano spesso impedisce la costruzione di un resoconto teorico integrato del modo migliore per misurare le abilità CT. Di conseguenza, i ricercatori e gli educatori devono prendere in considerazione l’ampia gamma di misure CT disponibili, al fine di identificare le migliori e le misure più appropriate, sulla base della concettualizzazione della TC utilizzata per la formazione. Esistono varie misure CT – le più popolari tra queste includono la valutazione del pensiero critico di Watson-Glaser (WGCTA, Watson & Glaser, 1980), il Test di pensiero critico di Cornell (CCTT, Ennis, Millman & Tomko, 1985), la California Critical Thinking Skills Test (CCTST, Facione, 1990a), Ennis-Weir Critical Thinking Essay Test (EWCTET, Ennis & Weir, 1985) e Halpern Critical Thinking Assessment (Halpern, 2010).
Alcuni commentatori hanno notato che queste diverse misure dell’abilità CT potrebbero non essere direttamente confrontabili (Abrami et al., 2008). Ad esempio, il WGCTA è composto da 80 MCQ che misurano la capacità di trarre inferenze; riconoscere le ipotesi; valutare argomenti; e usare l’interpretazione logica e il ragionamento deduttivo (Watson & Glaser, 1980). Il CCTT consiste di 52 MCQ che misurano le abilità del pensiero critico associate all’induzione; deduzione; osservazione e credibilità; definizione e identificazione dell’assunzione; e significato e errori. Infine, il CCTST consiste di 34 domande a scelta multipla (MCQ) e misura CT in base alle competenze chiave di analisi, valutazione e inferenza, nonché al ragionamento induttivo e deduttivo.
Come indicato sopra, il formato MCQ di queste tre valutazioni è tutt’altro che ideale – anche problematico, perché consente ai valutatori di indovinare semplicemente quando non conoscono la risposta corretta, invece di dimostrare la loro capacità di analizzare criticamente e valutare i problemi e dedurre soluzioni a questi problemi (Ku, 2009). Inoltre, come sostenuto da Halpern (2003), il formato MCQ rende la valutazione un test di conoscenza verbale e quantitativa piuttosto che CT (cioè perché si seleziona da una lista di possibili risposte piuttosto che determinare i propri criteri per lo sviluppo di una risposta). Anche la misurazione della TC attraverso gli MCQ è problematica, data la potenziale incompatibilità tra la concettualizzazione della TC che modella la costruzione del test e la sua valutazione usando gli MCQ. Cioè, i test MCQ valutano le capacità cognitive associate all’identificazione di singole risposte giuste o sbagliate e, di conseguenza, questo approccio al test non è in grado di fornire una misura diretta dell’uso da parte dei partecipanti di processi metacognitivi come CT, giudizio riflessivo, e disposizione verso CT.
Invece di utilizzare gli elementi MCQ, una misura migliore di CT potrebbe porre domande a risposta aperta, che consentirebbero agli esaminatori di dimostrare se utilizzano spontaneamente una specifica abilità CT. Una valutazione CT comunemente usata, menzionata sopra, che impiega un formato a terminazione aperta è il Test di saggio critico di ennis-weir (EWCTET, Ennis & Weir, 1985). L’EWCTET è una valutazione basata sulla saggistica della capacità del test-taker di analizzare, valutare e rispondere a discussioni e dibattiti in situazioni reali (Ennis & Weir, 1985, vedi Ku, 2009 per una discussione). Gli autori dell’EWCTET forniscono ciò che chiamano un “elenco approssimativo e alquanto sovrapposto di aree di competenza per il pensiero critico”, misurato dal loro test (Ennis & Weir, 1985, p.1). Tuttavia, anche questo test è stato criticato – per la sua natura specifica del dominio (Taube, 1997), la soggettività del suo protocollo di punteggio e il suo pregiudizio a favore di coloro che hanno una buona conoscenza della scrittura (Adams, Whitlow, Stover & Johnson, 1996). .
Un’altra valutazione CT più recente che utilizza un formato a terminazione aperta è Halpern Critical Thinking Assessment (HCTA, Halpern, 2010). L’HCTA consiste di 25 domande aperte basate su situazioni quotidiane credibili, seguite da 25 domande specifiche che sondano il ragionamento alla base di ciascuna risposta. La natura multiparte delle domande consente di valutare la capacità di utilizzare specifiche abilità CT quando viene fornito il prompt (Ku, 2009). Il protocollo di punteggio HCTA fornisce anche istruzioni comprensibili e univoche su come valutare le risposte suddividendole in componenti chiari e misurabili. Le domande sull’HCTA rappresentano cinque categorie di domande CT: test di ipotesi (ad es. Comprensione dei limiti del ragionamento correlazionale e come sapere quando non è possibile fare affermazioni causali), ragionamento verbale (ad esempio riconoscimento dell’uso di un linguaggio pervasivo o fuorviante), argomentazione (ad es. riconoscere la struttura degli argomenti, come esaminare la credibilità di una fonte e come giudicare i propri argomenti), giudicare la probabilità e l’incertezza (ad esempio applicare i principi di probabilità rilevanti, come evitare l’eccesso di fiducia in certe situazioni) e risolvere i problemi (ad es. l’obiettivo del problema, generare e selezionare soluzioni tra alternative).
Fino allo sviluppo dell’HCTA, avrei raccomandato il CCTST per misurare la CT, nonostante i suoi limiti. La cosa interessante del CCTST è che valuta le tre abilità principali della CT: analisi, valutazione e inferenza, che altre scale non (esplicitamente). Quindi, se fossi interessato a valutare la capacità di sub-abilità degli studenti, questo sarebbe utile. Tuttavia, come sappiamo, sebbene le prestazioni dell’abilità CT siano una sequenza, è anche una collazione di queste abilità – il che significa che per ogni problema o argomento, ogni abilità è necessaria. Gestendo un problema di analisi, un problema di valutazione e un problema di inferenza, in cui lo studente ottiene il punteggio più alto per tutti e tre, non garantisce che lo studente applicherà questi tre a un problema più ampio che richiede tutti e tre. Cioè, queste domande non misurano l’abilità di abilità CT di per sé, piuttosto l’abilità di analisi, l’abilità di valutazione e l’abilità di inferenza in isolamento. Semplicemente, i punteggi possono predire la prestazione delle abilità CT, ma non la misurano.
Quello che può essere un indicatore migliore delle prestazioni CT è la valutazione dell’applicazione CT. Come indicato sopra, ci sono cinque applicazioni generali di CT: test di ipotesi, ragionamento verbale, argomentazione, risoluzione dei problemi e valutazione della probabilità e dell’incertezza – che richiedono una raccolta di analisi, valutazione e inferenza. Sebbene le sub-abilità di analisi, valutazione e inferenza non siano direttamente misurate in questo caso, le loro regole di confronto sono misurate attraverso cinque applicazioni distinte; e, a mio avviso, fornisce una valutazione “più vera” della TC. Oltre a valutare la CT tramite un formato a risposta aperta, a risposta breve, l’HCTA misura il CT in base alle cinque applicazioni della TC; quindi, raccomando il suo uso per misurare CT.
Tuttavia, questo non vuol dire che l’HCTA sia perfetto. Sebbene consista di 25 domande a risposta aperta, seguite da 25 domande specifiche che sondano il ragionamento alla base di ciascuna risposta, quando l’ho usato per valutare un campione di studenti, ho scoperto che nella configurazione del mio file di dati c’erano in realtà 165 opportunità per il punteggio nel test. La ricerca del passato raccomanda che la valutazione richieda all’incirca tra 45 e 60 minuti. Tuttavia, molti dei miei partecipanti hanno riferito di aver richiesto più di due ore (a volte più a lungo). È una valutazione lunga, accurata, ma lunga. Fortunatamente sono disponibili versioni adattate e abbreviate, ed è una versione adattata che attualmente gestisco per valutare CT. Un altro limite è che, nonostante il razionale di cui sopra, sarebbe bello avere qualche indicazione su come i partecipanti possano andare avanti con le sub-abilità di analisi, valutazione e inferenza, poiché penso che ci sia un potenziale elemento predittivo nella relazione tra i capacità individuali e applicazioni. Con quello, suppongo sia possibile amministrare sia l’HCTA che il CCTST per valutare tali ipotesi.
Anche se è ovviamente importante considerare come le valutazioni misurano effettivamente la CT e la natura in cui ciascuna è limitata, il più ampio, macro-problema richiede ancora pensiero. Proprio come le concettualizzazioni della TC variano, così anche l’affidabilità e la validità delle diverse misure CT, che ha portato Abrami e colleghi (2008, P. 1104) a chiedere: “Come faremo a sapere se un intervento è più vantaggioso di un altro se non siamo sicuri della validità e dell’affidabilità delle misure di esito? “Abrami e colleghi aggiungono che, anche quando i ricercatori dichiarano esplicitamente che stanno valutando la TC, rimane ancora la sfida principale di assicurare che i risultati misurati siano correlati, in qualche modo significativo, alla concettualizzazione e alla definizione operativa della TC che ha informato la pratica didattica in caso di ricerca interventistica. Spesso, la relazione tra i concetti di CT insegnati e quelli che vengono valutati non è chiara, e una grande maggioranza di studi in quest’area non include alcuna teoria per aiutare a chiarire queste relazioni.
In conclusione, risolvere il problema della coerenza attraverso la concettualizzazione, la formazione e la misura della CT non è un compito facile. Penso che i recenti progressi nello sviluppo della scala CT (ad esempio lo sviluppo dell’HCTA e le sue versioni adattate) abbiano facilitato il problema, dato che ora colmano il divario tra la teoria corrente e la valutazione pratica. Tuttavia, tali progressi devono essere resi più chiari alle popolazioni interessate. Come sempre, sono molto interessato a sentire da lettori che potrebbero avere qualche intuizione o suggerimento!
Riferimenti
Abramo, PC, Bernard, RM, Borokhovski, E., Wade, A., Surkes, MA, Tamim, R., e Zhang, D. (2008). Interventi didattici che influenzano le capacità e le disposizioni del pensiero critico: una meta-analisi di fase 1. Revisione della ricerca educativa, 78 (4), 1102-1134.
Adams, MH, Whitlow, JF, Stover, LM e Johnson, KW (1996). Il pensiero critico come risultato educativo: una valutazione degli attuali strumenti di misurazione. Infermiere educatore, 21, 23-32.
Dwyer, CP (2017). Pensiero critico: prospettive concettuali e linee guida pratiche. Cambridge, Regno Unito: Cambridge University Press.
Dwyer, CP, Hogan, MJ e Stewart, I. (2014). Un quadro di pensiero critico integrato per il 21 ° secolo. Capacità di pensiero e creatività, 12, 43-52.
Ennis, RH, Millman, J., e Tomko, TN (1985). Test di pensiero critico di Cornell. CA: Critical Thinking Co.
Ennis, RH, & Weir, E. (1985). Il test del saggio critico di Ennis-Weir. Pacific Grove, CA: pubblicazioni Midwest.
Facione, PA (1990a). Il test di capacità critica della California (CCTST): Forme A e B; Il manuale di test CCTST. Millbrae, CA: California Academic Press.
Facione, PA (1990b). La relazione Delphi: commissione sulla filosofia pre-universitaria. Millbrae, CA: California Academic Press.
Halpern, DF (2003b). Il “come” e “perché” della valutazione del pensiero critico. In D. Fasko (a cura di), Pensiero critico e ragionamento: ricerca attuale, teoria e pratica. Cresskill, NJ: Hampton Press.
Halpern, DF (2010). La valutazione del pensiero critico di Halpern: manuale. Vienna: Schuhfried.
Ku, KYL (2009). Valutare le prestazioni di pensiero critico degli studenti: sollecitare le misurazioni utilizzando il formato multi-risposta. Capacità di pensiero e creatività, 4, 1, 70-76.
Taube, KT (1997). Capacità di pensiero critico e disposizione come fattori di prestazione su un test di pensiero critico scritto. Journal of General Education, 46, 129-164.
Watson, G., & Glaser, EM (1980). Valutazione del pensiero critico Watson-Glaser. New York: Psychological Corporation.
