Trovo la tua mancanza di teoria (e repliche) inquietante

Diciamo che ti trovi a capo di un gruppo di bambini. Dato che sei uno psicologo relativamente medio, hai un'ipotesi relativamente strana che vuoi testare: vuoi vedere se indossare una camicia rossa renderà i bambini più bravi a schivare la palla. Ti capita di pensare che lo farà. Dico che quest'ipotesi è strana perché da essa non ne ricavai nulla; è solo una sensazione. Poco più di una idea "non sarebbe bello se fosse vero?" In ogni caso, si desidera eseguire una verifica della propria ipotesi. Si inizia affiancando gli studenti, poi li supera e contiamo ad alta voce: "1, 2, 1, 2, 1 …". Tutti i bambini con un "1" indossano una maglietta rossa e fanno parte di una squadra; tutti i bambini con un "2" vanno a prendere una nuova maglietta da indossare da una pila di magliette non rosse. Servono come gruppo di controllo. Le due squadre si giocano poi in un round di dodge ball. La squadra che indossa le maglie rosse esce vittoriosa. Infatti, vincono con un margine considerevole. Questo deve significare che indossare le camicie rosse ha reso gli studenti migliori a schivare la palla, giusto? Beh, visto che sei uno psicologo relativamente medio, probabilmente potresti concludere che, sì, le camicie rosse hanno chiaramente un qualche effetto. Certo, la tua conclusione è, per lo meno, affrettata e probabilmente sbagliata, ma tu sei solo uno psicologo medio: non possiamo impostare il livello troppo alto.

"Salto riuscito (p <0,05)"

Una valutazione critica della ricerca potrebbe notare che solo perché i bambini sono stati assegnati in modo casuale ai gruppi, ciò non significa che entrambi i gruppi siano stati ugualmente abbinati per cominciare. Se i bambini del gruppo di camicie rosse fossero stati meglio in anticipo, ciò avrebbe potuto determinare l'effetto. È anche probabile che le maglie rosse avrebbero potuto avere ben poco a che fare con la squadra che ha vinto. La domanda pressante qui sembra essere perché dovremmo aspettarci che le camicie rosse abbiano qualche effetto? Non è come se una camicia rossa rendesse un bambino più veloce, più forte o più capace di afferrare o lanciare rispetto a prima; almeno non per nessuna ragione teorica che viene in mente. Ancora una volta, questa ipotesi è strana quando si considerano le sue basi. Supponiamo, tuttavia, che indossare camicie rosse in realtà abbia reso i bambini migliori, perché ha aiutato i bambini a sfruttare alcune abilità preesistenti. Ciò solleva la domanda piuttosto ovvia: perché i bambini dovrebbero richiedere una maglietta rossa per attingere a quella risorsa precedentemente non sfruttata? Se essere bravi nel gioco è importante socialmente, dopotutto, non vuoi essere preso in giro dagli altri bambini per le tue scarse prestazioni – ei bambini potrebbero fare meglio, sembra, beh, strano che farebbero sempre di peggio. Uno avrebbe bisogno di porre un qualche tipo di trade-off effettuato dal colore della maglietta, che suona come una specie di variabile dispari per alcuni meccanismi cognitivi da prendere in considerazione.

Tuttavia, come ogni psicologo che spera di migliorare la propria carriera accademica, si pubblicano i risultati sul Journal of Inexplicable Findings. Il "Red Shirt Effect" diventa qualcosa di un classico, riportato nei libri di testo Introduzione alla psicologia. I rapporti pubblicati iniziano a spuntare da persone diverse che hanno fatto indossare ad altri bambini camicie rosse e svolgere mansioni atletiche di vario genere relativamente migliori. Anche se nessuno di questi documenti sono repliche dirette del tuo studio iniziale, hanno anche bambini che indossano magliette rosse che sovraperformano i loro coetanei, così vengono etichettati come "repliche concettuali". Dopo tutto, dal momento che i concetti sembrano essere in ordine, probabilmente stanno toccando lo stesso meccanismo sottostante. Naturalmente, queste repliche non trattano ancora le preoccupazioni teoriche discusse in precedenza, quindi alcuni altri ricercatori cominciano ad essere un po 'sospettosi sul fatto che "Red Shirt Effect" sia tutto ciò che è fatto per essere. Parte di queste preoccupazioni si basa su una strana sfaccettatura di come funziona la pubblicazione: i risultati positivi – quelli che trovano gli effetti – tendono ad essere favoriti per la pubblicazione su studi che non trovano effetti. Ciò significa che potrebbero esserci altri ricercatori che hanno tentato di utilizzare l'effetto camicia rossa, non hanno trovato nulla e, a causa dei risultati nulli o contraddittori, non hanno pubblicato nulla.

• L'elefante nel mezzo della psiche americana
• Intervista di un terapeuta OCD: Dr. Doronn the Ironwoman
• mentalità
• Segui il tuo sogno?
• 52 modi per dimostrare che ti amo: onorare i momenti insostituibili

Alla fine, la parola ti raggiunge di un gruppo di ricerca che ha tentato di replicare l'Effetto Camicia Rossa una dozzina di volte nella stessa carta e non è riuscito a trovare nulla. Ancora più preoccupante, per la tua carriera accademica, comunque, i loro risultati hanno visto la pubblicazione. Naturalmente, ti senti piuttosto turbato da questo. Chiaramente il team di ricerca stava facendo qualcosa di sbagliato: forse non usavano la giusta tonalità della camicia rossa; forse hanno usato una marca diversa di palle schivare nel loro studio; forse gli sperimentatori si sono comportati in un modo sottile che è stato sufficiente a neutralizzare completamente l'effetto camicia rossa. Poi di nuovo, forse il diario in cui i risultati sono stati pubblicati non ha abbastanza standard per i loro revisori. Qui deve esserci qualcosa di sbagliato; lo sai perché il tuo Effetto Camicia Rossa è stato concettualmente replicato molte volte da altri laboratori. L'Effetto Camicia Rossa deve essere lì; hai contato fedelmente i successi nella letteratura. Ovviamente, non hai nemmeno tenuto conto delle miss che non sono mai state pubblicate. Inoltre, stavi contando i colpi leggermente modificati come "repliche concettuali ma non le mancanze leggermente alterate come" disconfermazioni concettuali ". Non sei ancora riuscito a spiegare, in teoria, perché dovremmo aspettarci di vedere comunque l'Effetto Camicia Rossa. Poi di nuovo, perché dovrebbe interessarti tutto questo? Parte della tua reputazione è in gioco.

E questi colori non funzionano! (p <0,05)

Nelle notizie in qualche modo correlate, ci sono stati alcuni commenti salaci dello psicologo sociale Ap Dijksterhuis finalizzati a uno studio recente (e la copertura dello studio, e il diario in cui è stato pubblicato) riguardanti nove fallimenti nel replicare un lavoro svolto da Ap sull'ingegneria dell'intelligence, così come il lavoro svolto da altri sul priming dell'intelligence (Shanks et al, 2013). L'idea iniziale dell'intelligence dell'intelligence, apparentemente, era che i soggetti in formazione con indizi relativi al professore li rendevano più capaci a rispondere a domande a scelta multipla e di conoscenza generale, mentre i soggetti in formazione con indizi relativi al calcio-teppista li rendevano peggiori (e no; Non sto scherzando, era davvero strano). L'intelligenza stessa è un concetto piuttosto confuso, e sembra che spingere le persone a pensare ai professori – le persone generalmente considerate più elevate in alcuni ambiti di quel concetto fuzzy – è un modo scadente per renderle migliori a domande a scelta multipla. Per quello che posso dire, non c'era alcuna teoria sul perché i primati dovessero funzionare in quel modo o, più precisamente, perché le persone non dovessero avere accesso a tale conoscenza in assenza di un numero primo vago e non correlato. Per lo meno, nessuno è stato discusso.

• L'ansia dell'essere
• Maggiori sfide per coltivare la rabbia sana
• "Papà, se prendo una BI sento come se non fossi riuscito"
• Scardinato. La storia completa
• Che succede con l'uso di droghe illegali?

Non era solo che i fallimenti di replicare riportati da Shanks et al (2013) erano non significativi ma nella giusta direzione, intendiamoci; spesso sembravano andare nella direzione sbagliata. Shanks et al (2013) hanno anche cercato esplicitamente le caratteristiche della domanda, ma non le hanno trovate. Nove fallimenti consecutivi sono sorprendenti alla luce del fatto che gli effetti dell'innesco dell'intelligence sono stati precedentemente segnalati come piuttosto grandi. Sembra piuttosto strano che i grandi effetti possano scomparire così rapidamente; avrebbero dovuto avere ottime possibilità di replicare, se fossero reali. Shanks et al (2013) giustamente suggeriscono che molti degli studi di conferma dell'innesco dell'intelligence, quindi, potrebbero rappresentare bias di pubblicazione, gradi di libertà dei ricercatori nell'analisi dei dati, o entrambi. Per fortuna, i commenti salati di Ap hanno ricordato ai lettori che: "la scoperta che si può ottenere l'intelligenza è stata ottenuta in 25 studi in 10 diversi laboratori". Sicuro; e quando un battitore nell'MLB conta solo le volte in cui ha colpito la palla mentre era in bat, la sua media di battuta sarebbe stata di 1.000 impressionanti. Conta solo i colpi e non quelli che mancano sicuramente farà sembrare che i colpi siano comuni, non importa quanto siano rari. Forse Ap avrebbe dovuto pensare ai professori più prima di scrivere i suoi commenti (anche se mi è stato detto che anche i primes li hanno rovinati, quindi forse è sfortunato).

Vorrei aggiungere che c'erano commenti altrettanto salati livellati da un altro psicologo sociale, John Bargh, quando il suo lavoro sull'innesco di vecchi stereotipi sulla velocità di camminata non è riuscito a replicare (sebbene John abbia cancellato i suoi post). I due casi presentano alcune sorprendenti somiglianze: affermazioni di altre "repliche concettuali", ma nessuna affermazione di "fallimenti concettuali da replicare"; attacchi personali alla credibilità della rivista che pubblica i risultati; attacchi personali ai ricercatori che non hanno replicato il risultato; persino attacchi personali alle persone che riferiscono dei guasti da replicare. Più interessante, John ha anche suggerito che l'effetto di innesco era apparentemente così fragile che anche piccole deviazioni dall'esperimento iniziale potevano gettare l'intera cosa in disordine. Ora mi sembra che se il tuo "effetto" è così fugace che anche ritocchi minori del protocollo di ricerca possono cancellarlo completamente, allora non stai affrontando molto in termini di importanza per quanto riguarda l'effetto, anche se fosse reale . Questo è precisamente il tipo di sparare-te stesso-in-the-foot una persona "più intelligente" potrebbe aver pensato di lasciare fuori dal loro capricci altrimenti persuasivo.

"Ho gestito l'errore di replicare correttamente (p <0.05)"

Vorrei anche aggiungere, per completezza, che gli effetti di innesco della minaccia stereotipata non si sono replicati bene. Oh, e gli effetti del realismo depressivo non mostrano molte promesse. Questo mi porta al punto finale sulla questione: dati i rischi posti dai gradi di libertà di ricerca e dai pregiudizi di pubblicazione, sarebbe saggio adottare migliori misure di salvaguardia contro questo tipo di problemi. Le repliche, tuttavia, vanno solo lontano. Le repliche richiedono ai ricercatori che vogliono farle (e possono essere attività a bassa remunerazione, scoraggiate) e alle riviste che desiderano pubblicarle con frequenza sufficiente (cosa che attualmente molti non lo fanno). Di conseguenza, ritengo che le repliche possano solo portarci così lontano nel risolvere il problema. Ritengo, a mio parere, che un rimedio semplice, sebbene solo parziale, sia l'inclusione della teoria attuale nella ricerca psicologica; teoria evolutiva in particolare. Sebbene non impedisca la pubblicazione di falsi positivi, consente almeno ad altri ricercatori e revisori di valutare in modo più approfondito le affermazioni fatte sui giornali. Ciò consente che le ipotesi più scarse siano meglio eliminate e migliori progetti di ricerca creati per affrontarli direttamente. Inoltre, aggiornare la vecchia teoria e fornire nuovo materiale è un'impresa di valore personale. Senza teoria, tutto ciò che hai è un sacco di risultati, alcuni positivi, alcuni negativi e nessuna idea di cosa fare con loro o di come devono essere compresi. Senza teoria, le cose come l'innesco dell'intelligenza – o Red Shirt Effects – sono valide.

Riferimenti : Shanks, D., Newell, B., Lee, E., Balakrishnan, D., Ekelund, L., Cenac, Z., Kavvadia, F., e Moore, C. (2013). Priming Intelligent Behavior: An Elusive Phoomenon PLoS ONE, 8 (4) DOI: 10.1371 / journal.pone.0056515

Copyright Jesse Marczyk