Perversione accademica

Come istruttore, ho deciso di mettere in atto un tipo unico di politica di valutazione per i miei studenti. Nello specifico, tutti i test sono di tipo a breve saggio e le revisioni sono consentite dopo che è stato ricevuto un voto. Questo assicura che gli studenti abbiano sempre qualche motivazione per capire cosa hanno sbagliato e migliorarlo. In altre parole, disegno la mia valutazione per incentivare l'apprendimento. Dal punto di vista di una prospettiva astratta sul valore dell'istruzione, questa sembra una prospettiva ragionevole da adottare (almeno per me, anche se non ho sentito nessuno dei miei colleghi discutere con il metodo). È anche, per mancanza di una parola migliore, una cosa stupida da fare, da una prospettiva professionale. Ciò che intendo qui è che – sul mercato del lavoro – la mia capacità di far sì che gli studenti imparino con successo non è esattamente incentivata, o almeno questa è l'impressione che altri con più insight mi hanno trasmesso. Non solo le persone nei comitati di assunzione non sono particolarmente interessate a quanto tempo sono disposto a dedicare ai miei studenti a imparare (non è la prima cosa che guardano, o anche nei primi 3, penso), ma il tempo che faccio investire in questo metodo di valutazione è il tempo che non spendo a fare altre cose che apprezzano, come cercare borse di studio o cercare di pubblicare quanti più documenti possibile nei punti vendita più prestigiosi disponibili.

"Se sei così intelligente, come mai non sei ricco?"

Fonte: Explosm.net

E il mio metodo di valutazione richiede un bel po 'di tempo. Quando ogni test richiede circa 5-10 minuti per valutare e commentare e stai fissando una classe di circa 100 studenti, alcuni matematici rapidi ti dicono che ogni ciclo di valutazione richiederà circa 8 – 16 ore. Al contrario, potrei invece offrire ai miei studenti un test a scelta multipla che potrebbe essere valutato quasi automaticamente, riducendo il mio investimento in termini di tempo fino a pochi minuti. Nel corso di un semestre, quindi, potrei dedicare da 24 a 48 ore ad aiutare gli studenti ad apprendere (attraverso tre test) o potrei invece fornire i voti per loro in circa 15 minuti usando altri metodi. Per quanto chiunque in un comitato assumente sarà in grado di dire, queste due opzioni sono effettivamente equivalenti. Certo, uno aiuta gli studenti a imparare meglio, ma essere bravi a far imparare gli studenti non è esattamente incentivato a livello professionale . Quelle tra le 24 e le 48 ore potrebbero essere state invece spese per ottenere finanziamenti o documenti scritti e, cosa importante, per 100 studenti; se ti capita di insegnare tre o più lezioni un semestre, quel numero sale.

Questi incentivi non si limitano solo ai test e alla valutazione. Se i comitati di assunzione non sono tutto ciò che riguarda i risultati di apprendimento dei miei studenti, ciò ha implicazioni su quanto tempo dedicare alla progettazione del mio materiale per le lezioni. Diciamo che mi trovavo di fronte al compito di dover insegnare ai miei studenti informazioni su cui non ero molto familiare, che si trattasse dell'argomento della classe nel suo complesso o di una particolare informazione nuova all'interno di quell'argomento altrimenti familiare. Potrei prendere la strada che richiede tempo e familiarizzare con le informazioni prima, rintracciare le principali fonti primarie, leggerle in profondità, valutarne i punti di forza e di debolezza, e cercare ricerche di follow-up sull'argomento. Potrei anche prendere la via rapida e leggere semplicemente la sezione abstract / discussione del documento o semplicemente riportare il sommario della ricerca fornita dagli autori di libri di testo o dai materiali dell'editore.

Se il tuo obiettivo è preparare circa 12 settimane di materiale per le lezioni, è abbastanza chiaro quale metodo consente di risparmiare più tempo. Se avere corsi ben studiati e pieni di informazioni sulle quali sei un esperto non è adeguatamente incentivato, allora perché dovremmo aspettarci che i professori intraprendano la seconda strada? Orgoglio, forse – molti professori vogliono essere bravi nel loro lavoro e utili ai loro studenti – ma sembra che altri incentivi spingano a dedicare il tempo all'istruzione di qualità se si sta cercando di rendersi un noleggio attraente *. Ho sentito l'insegnamento indicato come una distrazione da più di un istruttore, suggerendo con forza quanto a dove percepiscono gli incentivi esistono.

• Happy Homemakers?
• Discriminazione, criminalità e rapporti sui media nel campus
• Che college non ti dicono
• Capire le nostre paure attraverso Mel Gibson
• Due modi a basso costo per evitare la sfida al colpo d'urgenza ad alto costo

Le implicazioni di queste preoccupazioni sugli incentivi vanno al di là delle frustrazioni personali che potrei avere e stanno iniziando a ottenere una quota maggiore dei riflettori. Uno degli eventi più recenti che ha evidenziato questo problema è stato soprannominato la crisi di replica, in cui molte scoperte pubblicate non si sono manifestate di nuovo quando gruppi di ricerca indipendenti le hanno cercate. Anche questa non era una minoranza apprezzabile; in psicologia era ben oltre il 50% di loro. Non c'è dubbio che una parte sana di questo stato di cose deve la sua esistenza ai ricercatori usando deliberatamente metodi discutibili per trovare risultati pubblicabili, ma perché dovrebbero farlo in primo luogo? Perché sono così motivati ​​a trovare questi risultati. Ancora una volta, i fattori di orgoglio nell'equazione ma, come di solito accade, un'altra parte di quella risposta ruota intorno alla struttura di incentivi del mondo accademico: se gli accademici sono giudicati, assunti, promossi e finanziati sulla loro capacità di pubblicare risultati, allora sono incentivati pubblicare quanti più risultati possibile, anche se i risultati stessi non sono particolarmente degni di fiducia (sono anche disincentivati ​​dal tentativo di pubblicare risultati negativi, in molti casi, che causano altri problemi).

Un nuovo articolo ha fatto il giro per discutere di questi incentivi nel mondo accademico (Edwards & Roy, 2017), che inizia con una semplice premessa: i ricercatori accademici sono umani. Come gli altri umani, tendiamo a rispondere a particolari incentivi. Mentre le strutture di incentivazione all'interno del mondo accademico potrebbero essere state create con buone intenzioni in mente, c'è sempre una minaccia incombente dalla legge delle conseguenze non intenzionali. In questo caso, quelle conseguenze non intenzionali come la Legge di Goodhart, che possono essere espresse come tali: " Qualsiasi regolarità statistica osservata tenderà a collassare una volta che la pressione viene posta su di essa a fini di controllo " o " quando una misura diventa un bersaglio , cessa di essere una buona misura . "In sostanza, questa idea significa che le persone seguiranno la lettera della legge, piuttosto che lo spirito.

Fonte: Flickr / alan schoolar

Mettendo questo in un esempio accademico, un'università potrebbe voler assumere professori intelligenti e perspicaci. Tuttavia, valutare l'intelligenza e l'intuizione è difficile da fare, quindi, piuttosto che valutare quei tratti, l'università valuta le misure proxy di loro; qualcosa che tende ad essere associato con l'intelligenza e l'intuizione, ma non è esso stesso una di quelle cose. In questo caso, si potrebbe notare che i professori intelligenti e perspicaci tendono a pubblicare più documenti rispetto ai loro coetanei. Poiché il numero di documenti che qualcuno pubblica è molto più facile da misurare, l'università semplicemente misura quella variabile invece nel determinare chi assumere e promuovere. Sebbene i registri di pubblicazione siano inizialmente buoni predittori di prestazioni, una volta che diventano l'obiettivo della valutazione, tale correlazione inizia a diminuire. Poiché i documenti editoriali di per sé sono diventati il ​​comportamento target su cui le persone sono valutate, iniziano a massimizzare quella variabile piuttosto che la cosa che si intendeva misurare in primo luogo . Invece di pubblicare meno documenti di qualità pieni di informazioni, pubblicano molti articoli che fanno un lavoro peggiore per aiutarci a capire il mondo.

• Il dott. Jones Tapia assume la salute mentale nelle carceri
• Critica del Constructionism Expansion Pack 1
• I genitori possono aiutare gli studenti universitari troppo?
• Disabilità intellettiva e istruzione superiore
• Taiwan Love Boat Doc mette vela, la sua mente su un nuovo romanzo

Nella stessa vena, i voti degli studenti su un test standardizzato potrebbero essere una buona misura dell'efficacia di un insegnante; insegnanti più efficaci tendono a produrre studenti che imparano di più e, successivamente, fanno meglio a testare. Tuttavia, se i poveri insegnanti vengono penalizzati e gli viene detto di migliorare le loro prestazioni o trovare un nuovo lavoro, gli insegnanti potrebbero provare a giocare al sistema. Ora, invece di insegnare ai propri studenti un argomento in modo olistico che si traduce in un vero apprendimento, iniziano semplicemente a insegnare. Piuttosto che insegnare, per esempio, la chimica, gli studenti cominciano a farsi insegnare come fare un test di chimica , e i due non sono decisamente la stessa cosa. Finché gli insegnanti vengono valutati solo sui voti dei loro studenti che prendono quei test, questa è la struttura di incentivi che finisce per essere creata.

Fonte: Flickr / biologycorner

Oltre a influire sul numero di documenti che gli accademici potrebbero pubblicare, vengono discusse una serie di altre potenziali conseguenze non intenzionali delle strutture di incentivi. Uno dei quali comporta misure della qualità del lavoro pubblicato. Potremmo aspettarci che i documenti teoricamente ed empiricamente significativi riceveranno più citazioni di un lavoro più debole. Tuttavia, poiché la significatività di un documento non può essere valutata direttamente, consideriamo le misure proxy, come il conteggio delle citazioni (la frequenza con cui un documento viene citato da altri giornali o autori). La conseguenza? Le persone citano più spesso il proprio lavoro e i revisori peer chiedono che il loro lavoro venga citato da persone che cercano di pubblicare sul campo. Il numero di citazioni inutili è gonfiato. Ci sono anche incentivi per la pubblicazione su riviste "buone" o prestigiose; quelli che si ritiene preferiscano pubblicare lavori significativi. Ancora una volta, non possiamo solo valutare quanto è "buono" un giornale, quindi usiamo altre metriche, come la frequenza con cui vengono citati i documenti di quel giornale. Il risultato netto qui è più o meno lo stesso, in cui le riviste preferirebbero pubblicare articoli che citano documenti che hanno precedentemente pubblicato. Andando oltre, quando le università sono classificate in base a determinate metriche, sono incentivate a giocare quelle metriche o semplicemente a riportarle in modo errato. A quanto pare, un certo numero di college sono stati catturati proprio su quel fronte per ottenere la loro classifica, mentre altri possono migliorare le loro classifiche senza migliorare davvero la loro istituzione.

Ci sono molti esempi di questo genere che potremmo eseguire (e vi raccomando di controllare il documento stesso proprio per questo motivo), ma il punto più importante che volevo discutere era quello che significa tutto questo su una scala più ampia. Nella misura in cui coloro che sono più disposti a imbrogliare il sistema sono ricompensati per il loro comportamento, coloro che sono meno disposti a imbrogliare saranno affollati, e lì abbiamo un vero problema nelle nostre mani. Per prospettiva, Fanelli (2009) riporta che il 2% degli scienziati ammette di fabbricare dati e il 10% riferisce di impegnarsi in pratiche meno evidenti, ma comunque discutibili, in media; riferisce anche che quando gli viene chiesto se sono a conoscenza di un caso in cui i loro coetanei fanno tali cose , questi numeri sono rispettivamente del 14% e del 30%, rispettivamente. Mentre questi numeri non sono semplici da interpretare (è possibile che alcune persone imbrogli molto, più persone conoscano gli stessi casi, o che si possa essere disposti a imbrogliare se l'opportunità si presenta anche se non lo è ancora, ad esempio ), dovrebbero essere presi molto seriamente come motivo di preoccupazione.

(Vale anche la pena notare che Edwards & Roy riportano erroneamente le scoperte di Fanelli citando i suoi limiti superiori come se fossero la media, rendendo il problema della cattiva condotta accademica il più negativo possibile. Questo è probabilmente solo un errore, ma mette in evidenza la possibilità che gli errori probabilmente seguono anche la struttura degli incentivi, non solo imbrogli: proprio come i ricercatori hanno incentivi a sopravvalutare le proprie scoperte, hanno anche incentivi a sopravvalutare le scoperte degli altri per contribuire a rendere i loro punti convincenti)

Il che è ironico per un documento che si lamenta degli incentivi a sopravvalutare i risultati.

Fonte: Flickr / Jacob

Quando non è solo il caso che una manciata di mele marce all'interno del mondo accademico stiano contribuendo a un problema, ad esempio, di barare con i loro dati, ma piuttosto una minoranza apprezzabile, questo ha il potenziale per avere almeno due importanti conseguenze. In primo luogo, può incoraggiare altri non cheater a diventare imbroglioni. Se dovessi osservare i miei colleghi che imbrogliano il sistema e sono ricompensato per questo, potrei essere incoraggiato a imbrogliare me stesso solo per tenere il passo di fronte a (molto) limitate opportunità di lavoro o di finanziamento. I paralleli possono essere utilizzati per l'uso di steroidi negli sport, dove coloro che inizialmente non vogliono usare gli steroidi potrebbero essere incoraggiati se un numero sufficiente di concorrenti lo facessero.

La seconda conseguenza è che, man mano che più persone prendono parte a quel tipo di cultura, la fede pubblica nelle università – e forse la ricerca scientifica più in generale – si erode. Con l'erosione della fede pubblica vengono ridotti i finanziamenti e aumentato lo scetticismo nei confronti dei risultati della ricerca; entrambe le risposte sono giustificate (perché dovresti finanziare ricercatori di cui non puoi fidarti?) e preoccuparti, poiché ci sono problemi importanti che la ricerca può aiutare a risolvere, ma solo se le persone sono disposte ad ascoltare.

^{* Per essere onesti, non è che la mia capacità di insegnante sia del tutto irrilevante per le commissioni di assunzione; è che non solo questa capacità è secondaria ad altre preoccupazioni (cioè, la mia capacità di insegnamento potrebbe essere vista solo dopo aver ristretto la ricerca verso il basso concedendo finanziamenti e pubblicazioni), ma la mia capacità di insegnamento non è in realtà valutata. Ciò che viene valutato sono le mie valutazioni degli studenti e questo non è decisamente la stessa cosa.}

Riferimenti

^{Edwards, M. & Roy, S. (2017). Ricerca accademica nel XXI secolo: mantenimento dell'integrità scientifica in un clima di incentivi perversi e ipercompetizione. Scienze di ingegneria ambientale, 34, 51-61.}

^{Fanelli, D. (2009). Quanti scienziati fabbricano e falsificano la ricerca? Una revisione sistematica e una meta-analisi dei dati del sondaggio. PLoS One. 4, e5738}