La valutazione è il processo per determinare il merito, il valore o il significato di qualcosa e una valutazione è un prodotto concreto di quel processo. Secondo Michael Scriven in The Logic of Evaluation , “La valutazione professionale è una valutazione fatta in modo sistematico e obiettivo con un livello di competenza che richiede una formazione specifica specifica o l’apprendimento.” La logica della valutazione è un esempio del passo-passo processo che può essere adattato per aiutarci a formulare giudizi sulla qualità di prodotti, programmi, politiche o personale.
Definire il processo
La logica della valutazione è un processo in quattro fasi che include: 1) la definizione dei criteri che verranno utilizzati per valutare qualcosa; 2) definizione degli standard di prestazione in base a tali criteri; 3) misurare le prestazioni effettive; e 4) sintetizzare i risultati per raggiungere un giudizio valutativo. Ciò che è particolarmente interessante in questo processo è che le persone spesso lo fanno in modo intuitivo, ma possono saltare i passaggi che potrebbero portare a conclusioni fuorvianti. Questo articolo spera di chiarire come si presenta questo processo e come può essere applicato a una situazione del mondo reale.
Il primo passo per definire i criteri è focalizzato sulla generazione di un elenco di dimensioni o elementi che ci aiutino a catturare le prestazioni di un prodotto / programma / politica. Ad esempio, se volessimo valutare un’automobile, alcuni dei criteri che genereremmo potrebbero includere il numero di persone che siedono, le miglia per gallone (MPG), la sua valutazione di sicurezza in caso di incidente, il suo aspetto (la sua estetica) e il suo prezzo. Questo non è un elenco completo di criteri, ma offre un punto di partenza per farci riflettere sulle dimensioni che riguardano il modo in cui valutiamo una macchina. È anche importante notare che non tutti i criteri sono ugualmente importanti, quindi nel caso della valutazione dell’auto potremmo voler attribuire molta importanza ai criteri di sicurezza, quindi anche se un’auto ha un prezzo ragionevole, sembra ottima, ottiene un ottimo MPG e può ospitare sei persone, ma succede che falliscono i più semplici crash test di sicurezza, quindi fallisce automaticamente come auto, dal momento che la sicurezza è probabilmente una delle caratteristiche più importanti.
Una volta individuati i criteri, dobbiamo determinare in che misura qualcosa deve essere eseguito su quei criteri (cioè gli standard). Ad esempio, se utilizziamo MPG come criterio, dovremmo anche determinare uno standard di rendimento per tali criteri. Ciò significa che dobbiamo stabilire un livello accettabile di prestazioni in base a tali criteri, quindi 10 MPG sarebbero accettabili? 35 MPG? 50 MPG o anche 100 MPG? Ci sono diversi modi di affrontare questo processo, il modo più semplice è quello di impostare un livello di prestazioni di taglio in cui si decide che a causa del prezzo del gas che una macchina ha bisogno di ottenere almeno 35 MPG per essere considerata un “buono” livello di prestazioni su MPG. Un altro modo è quello di sviluppare un sistema a punti in cui, quanto migliore è il MPG, più punti ottiene un’auto (ad es. 10 MPG ottengono 10 punti, 100 MPG ottengono 100 punti). Puoi seguire questo processo con gli altri criteri, in modo da poter impostare un prezzo per quanto vuoi spendere per un’automobile, identificare il numero di passeggeri che desideri essere in grado di sedersi e magari persino sviluppare un sistema di valutazione per quanto sia bella la macchina.
Al termine dell’identificazione dei criteri e dell’impostazione standard, inizia la parte divertente di m easuring e raccolta delle informazioni. Nell’esempio dell’automobile, ciò significherebbe che avremmo iniziato a raccogliere i dati dei criteri sulle diverse vetture che stiamo considerando. È possibile raccogliere i dati direttamente, in modo da poter mettere un gallone di gas in una macchina e guidarlo su una pista per vedere quanto lontano va (questo può aiutare a determinare MPG) o trovare fonti di dati esistenti sulle prestazioni della vettura. Alcuni dei dati sulle prestazioni sono facili da raggiungere, ad esempio il numero di persone che può essere montato in un’auto può essere determinato osservando l’interno dell’auto. Altre informazioni potrebbero essere difficili da raccogliere direttamente e dovrai fare affidamento su altre fonti esterne. Ad esempio, i dati sulla sicurezza in caso di incidente dovrebbero essere raggiunti dall’Istituto di assicurazione per la sicurezza stradale (IIHS). Una volta completata la misurazione e raccolti i dati, inizia il passaggio più interessante nel processo di valutazione.
Il processo di sintesi è dove si prendono i criteri che sono stati identificati, gli standard di prestazione che sono stati determinati e le misure che sono state raccolte per arrivare a una conclusione o giudizio valutativo finale. Nell’esempio dell’automobile, ciò significherebbe che si confronterebbero i dati raccolti su ciascuna vettura con gli standard di prestazione identificati e si assegnassero i punti a quanto bene si sono comportati su tali criteri. Ad esempio, puoi avere un’auto che ottiene 40 MPG (40 punti su 100 punti), che sembra accettabile (ad esempio ottiene 50 punti su 100 punti), eseguita eccellente sui test di crash di sicurezza (80 punti su 100 punti), ma è molto costoso (10 punti su 100 punti). Il punteggio totale per quella macchina sarebbe 180 su un possibile 400 punti. Un’altra vettura potrebbe ottenere 300 punti su 400, o 50 su 400, a seconda di come si è comportato durante il processo di misurazione. Una volta esaminata la ripartizione dei punti, sarebbe facile capire quale è considerata la “migliore” vettura.
È anche importante ricordare che, come parte di questo processo, è necessario determinare se queste auto hanno superato i criteri più importanti o critici (ad es. Sicurezza dei crash test). Quindi, anche se una macchina funziona molto bene su tutti gli altri criteri (100 punti sul prezzo, 100 punti sull’estetica, 100 punti su MPG) ma fallisce i test di sicurezza, allora l’auto deve essere rimossa dalla considerazione e giudicata come “fallita” auto.
Spero che questa illustrazione offra alcune indicazioni su come la logica dell’approccio di valutazione possa rendere i concetti astratti più espliciti e sistematici. La logica dell’approccio alla valutazione può essere utilizzata in molte situazioni diverse, come la valutazione di programmi come gli sforzi di conservazione degli studenti, le iniziative di prevenzione della gravidanza e gli interventi di riabilitazione dalla droga. Può anche essere utilizzato nella valutazione di varie politiche che influenzano le nostre vite e, come illustrato dall’esempio dell’auto, può essere utilizzato nel nostro processo decisionale regolare. Tuttavia, vi sono ulteriori complessità in questo processo che verranno affrontate in articoli futuri, ad esempio quando si valuta un programma scolastico, i criteri del preside per le prestazioni possono essere molto diversi da quelli che pensano i genitori e il processo di negoziazione tra queste differenze potrebbe influire sulla credibilità e utilità del giudizio finale di valutazione. Esploreremo queste complessità e il ruolo della valutazione nel processo decisionale nella prossima puntata.
Riferimenti
Scriven, Michael, “The Logic of Evaluation” (2007). Archivio della conferenza OSSA . 138. https://scholar.uwindsor.ca/ossaarchive/OSSA7/papersandcommentaries/138
