Psicologia dell'integrità scientifica: laureato Syllabus

LA PSICOLOGIA DELL'INTEGRITÀ SCIENTIFICA: IL GRANUATO SYLLABUS

Letture richieste

NOTA: tutte le letture sottostanti sono link, quindi se sei interessato, puoi leggere la maggior parte degli articoli nell'originale. Occasionalmente, a causa di problemi di copyright del journal, puoi vedere solo l'abstract; oppure potresti aver bisogno di un abbonamento a un canale di notizie mainstream. Nella maggior parte dei casi, tuttavia, se sei affiliato a un college, puoi accedere al codice sorgente attraverso il loro sistema di librerie.

PARTE I: INTRODUZIONE

• Legame sociale e dipendenza
• Quanto tessuto cerebrale hai bisogno di funzionare normalmente?
• Ehi CDC, hai dimenticato i papà!
• Sono pronto per insegnare?
• Mese nazionale di sensibilizzazione PTSD

Qual è il problema?

Fonte: mago Will Fern **

Freedman (novembre 2010). Bugie, dannate bugie e scienza medica. L'Atlantico.

Neuroskeptic (2012). I nove cerchi dell'inferno scientifico.

• Come sopra, così sotto, una coincidenza tra cielo e cervello
• Una potenziale causa di psicosi postpartum
• Neurofeedback: uno strumento di consulenza notevole
• Il potere delle immagini
• Pensa come un 47enne per stimolare la tua creatività

Lehrer, J. (13 dicembre 2010). La verità svanisce. Il newyorkese.

Che cosa dovrebbe essere la scienza?

https://en.wikipedia.org/wiki/Science

https://en.wikipedia.org/wiki/Scientific_method

https://en.wikipedia.org/wiki/Data_sharing

PARTE II: REPLICAZIONE EI SUOI ​​RIFIUTI

La "scienza" psicologica è inappuntabile?

OSF (2015). Stima della riproducibilità della scienza psicologica. Science, 349, doi: 10.1126 / science.aac4716.

Jussim (2012). Unicorni della psicologia sociale. Psych Today .

Jussim (2012). Unicorni psicologici sociali: le repliche fallite dissipano i miti scientifici? Psych Today.

Henrich et al (2010). Le persone più strane del mondo? Behavioral and Brain Sciences, 33, 61-135.

Finanziatore (2012). La pericolosa condizione del non replicatore. Funderstorms.

Dreber et al (2015). Utilizzando i mercati di previsione per stimare la riproducibilità della ricerca scientifica. PNAS, 112, 15343-15347.

Siamo sociopatici, incompetenti o entrambi?

Simmons et al (2011). Psicologia falsa positiva: la flessibilità non divulgata nella raccolta e analisi dei dati consente di presentare qualcosa di significativo. Scienza psicologica, 22, 1359-1366.

Fonte: Lee Jussim. Mi stai chiamando un sociopatico?

Johns et al (2012). Misurare la prevalenza di pratiche di ricerca discutibili con incentivi per la verità. Scienze psicologiche, 23 , 524-532.

Schimmack, U. (2012). L'effetto ironico di risultati significativi sulla credibilità di più articoli di studio. Metodi psicologici, 17, 551-566.

Vul et al (2009). Correlazioni incredibilmente alte negli studi di risonanza magnetica delle emozioni, della personalità e della cognizione sociale. Prospettive sulla scienza psicologica, 4 , 274-290.

Wicherts et al (2011). La disponibilità a fornire dati è correlata alla forza delle prove e alla qualità della segnalazione dei risultati statistici. PLoS One, 6 (11 ): e26828. doi: 10.1371 / journal.pone.0026828

Aspetta: sono uno scienziato, tutto va bene

Gilbert et al (2016). Commento su "Stimare la riproducibilità della scienza psicologica". Scienza, 351, 1037.

Fonte: Lee Jussim. Solo perché sono spreco nella neve profonda, a 11.500 piedi, su una remota montagna del Colorado, non significa che tutto non vada bene.

Fiedler, K., & Schwartz, N. (2015). Pratiche di ricerca discutibili rivisitate. Scienze sociali psicologiche e di personalità, 7, 45-52.

Tra panico e compiacimento …

Jussim (2016). La maggior parte dei risultati di psicologia sociale pubblicati è falsa? Psych Today.

Inzlicht (2016). Reckoning con il passato. Migliorare.

Simonsohn (2016). Valutazione delle repliche: il 40% pieno non è vuoto al 60%. Data Colada.

Parte III: OLTRE LA REPLICAZIONE

La scienza è auto-correggente, giusto?

Ioannidis, J. (2012). Perché la scienza non è necessariamente auto-correggente. Prospettive sulla scienza psicologica, 7, 645-654.

Jussim, L. (2015). Auto-correzione scientifica lenta e inesistente in psicologia. Psych Today.

Jussim (2016). È offensivo dichiarare un reclamo psicologico sbagliato? Psych Today

Orenstein (25 aprile 2013). La nostra guerra di benessere per il cancro al seno. New York Times.

NYTimes (2013). La chirurgia del ginocchio comune fa molto poco per alcuni

Loeb, A. (2014). Benefici della diversità. Nature Physics, 617-617.

O'Boyle et al (2014). L'effetto crisalide: come i risultati iniziali brutti si trasformano in bellissimi articoli. Journal of Management, 19 .

Outsiders di design, podcast Freakonomics.

Almeno le statistiche sono rigorose, chiare e oggettive, giusto?

Gelman & Loken (2014). La crisi statistica nella scienza. Scienziato americano

Fonte: Lee Jussim. Non è un razzo, è una macchina da caffè della stampa francese. Il design e la presenza in un deserto dello Utah sono straordinariamente statisticamente improbabili.

Fraley & Vazire (2014). Il fattore N-Pact: valutazione della qualità delle riviste empiriche rispetto alla dimensione del campione e alla potenza statistica. PLoS Uno, 9: e109019. doi: 10.1371 / journal.pone.0109019.

Nuzzo (2014). Metodo scientifico: errori statistici. Natura , 506 , 150-152.

Westfall et al (2014). Potere statistico e progettazione ottimale in esperimenti in cui campioni di partecipanti rispondono a campioni di stimoli. Journal of Experimental Psychology: General, 143, 2020-2045.

Come raccontare il fatto scientifico dalla finzione: P-Curving e altri metodi

Masciampo e Lalande (2012). Una prevalenza peculiare dei valori di p appena sotto 0,05. Quarterly Journal of Experimental Psychology, 65 , 2271-2279.

Simonsohn et al (2014). Curva P: una chiave per il cassetto dei file. Journal of Experimental Psychology: General, 143, 534-547.

Simonsohn et al (2014). Curva P e dimensione dell'effetto: correzione per bias di pubblicazione utilizzando solo risultati significativi. Prospettive sulla scienza psicologica, 9, 666-681.

Franco et al (2014). Distorsione della pubblicazione nelle scienze sociali: sblocco del cassetto dei file. Scienza, 345, 1502-1505.

Simmons et al (2012). Una soluzione a 21 parole. Dialoghi.

Bakker et al (2012). Le regole del gioco chiamato scienza psicologica. Prospettive sulla scienza psicologica, 7 , 543-554.

Il problema dell'interpretazione: cattive conclusioni basate su dati buoni

Fonte: Shihong Khor

Vazire (2014). Il semplice e il confuso.   A volte sono sbagliato.

Abramowitz et al (1975). Pubblica o politico: pregiudizio dell'arbitro nella revisione del manoscritto. Journal of Applied Social Psychology, 5, 187-200.

Eagly, A. (1995). La scienza e la politica del confronto tra uomini e donne. Psicologo americano, 50, 145-158.

Inbar & Lammers (2012). Diversità politica nella psicologia sociale e della personalità. Prospettive sulla scienza psicologica, 7, 496-503.

Jussim (in corso di stampa). Précis della percezione sociale e della realtà sociale: perché l'accuratezza domina la parzialità e la profezia che si autoavvera. Scienze comportamentali e cerebrali.

Jussim, Crawford, Stevens, & Anglin (2016). La politica della scienza psicologica sociale: distorsioni nella psicologia sociale delle relazioni intergruppo. In P. Valdesolo e J. Graham (a cura di), Social Psychology of Political Polarization.

Steele & Aronson (1995). Stereotipo di minaccia e prestazioni degli afroamericani. Journal of Personality and Social Psychology, 69, 797-811. – presentato come caso di studio su come interpretare erroneamente i dati

Jussim (2016). Cosa spiega le lacune demografiche? Psych Today.

—–

Questa voce, come quella precedente, è stata ispirata da questo post sul blog di Sanjay Srinivasta. Sanjay è stato in prima linea nel migliorare la scienza psicologica, e il suo post era un falso programma per un corso intitolato Everything is F **** d: The Syllabus. Sanjay definisce le pratiche scientifiche come f ***** d quando presentano "… difficili sfide concettuali alle quali le soluzioni implementabili e reali per gli scienziati che lavorano non sono disponibili o vengono normalmente ignorate nella pratica".

Settimana dopo settimana, il corso finto di Sanjay presenta letture che sostengono che alcuni aspetti di ciò che abbiamo dato per scontato come "buone" scienze nella psicologia sono f ***** d. Ciò include esperimenti, recensioni, statistiche, meta-analisi, replica e altro.

Il fatto è che ho insegnato due corsi reali sostanzialmente sullo stesso argomento dal 2014. Quello presentato qui è il mio corso di specializzazione. Il mio post precedente, del mio programma di laurea, è più di una buona panoramica generale per il lettore di laica interessato con una formazione universitaria di base o che è ampiamente letto e numerate ragionevolmente (in realtà non hai bisogno di un'educazione universitaria per entrambi).

Il corso di laurea, tuttavia, ha alcune fonti generali, ma molte letture tecniche. Niente di santo in loro, ma sono loro quelli che ho assegnato. Ho insegnato questo corso a primavera 2015 e, da allora, ho scoperto ogni sorta di fonti interessanti (tutto un secchio nel sito di Sanjay). Molti verranno probabilmente incorporati nella prossima volta che insegno il corso.

Panoramica

Questa classe di metodi di laurea si concentrerà sui cambiamenti in rapida evoluzione nella comprensione di ciò che costituisce le migliori pratiche nella conduzione della ricerca scientifica. Con "ricerca scientifica" intendo ogni aspetto delle pratiche coinvolte nella produzione della conoscenza scientifica.

Uso il termine "integrità scientifica" per riferirmi a due idee correlate ma separate: 1. L'onestà personale dei singoli scienziati nella condotta e nella segnalazione delle loro ricerche; e 2. Sviluppare solidi corpi di conclusioni che siano validi e intatti. Ovviamente, pratiche disoneste o fuorvianti possono indebolire la scienza. Mentre la disonestà personale può spiegare problemi come la frode dei dati, tali casi sono estremamente rari e non l'obiettivo di questo corso.

È il secondo significato del termine integrità scientifica che sarà al centro di questo corso.

Anche quando i ricercatori non soffrono della mancanza di integrità personale, le pratiche convenzionali comuni nel loro campo possono produrre risultati fuorvianti o non validi. In questo senso, l'integrità scientifica corrisponde strettamente alla comprensione convenzionale del termine "validità" sebbene il focus di questo corso differisca dalla tradizionale revisione dei tipi di validità (volto, interno, esterno, ecologico, ecc.), Tali forme, presumibilmente, sono coperto dal nostro corso di metodi regolari)

La scienza parla di "fare le cose per bene" (Task Force SPSP, vedere le letture della prima settimana). Si tratta di generare affermazioni e conclusioni che sono vere. Ciò include: 1. La generazione di nuove conoscenze valide; e 2. Sviluppo degli strumenti necessari per determinare, dai risultati della ricerca esistente, quali conclusioni sono vere e quali no.

Solo perché alcune affermazioni pubblicate non lo rendono "vero". Una volta riconosciuto, una domanda naturale diventa: "Come possiamo distinguere ciò che è vero da ciò che non è vero?" Questo è un lavoro per nuovi metodi e statistiche, nuovo utilizza per vecchi metodi e statistiche e strumenti concettuali per determinare come identificare errori sistematici e pregiudizi all'interno di una letteratura scientifica.

Un tangente breve ma importante

Molti psicologi sociali si rifiutano di dichiarare che alcune affermazioni "sono sbagliate". Questo sembra accadere perché è apparentemente spesso percepito come un attacco personale al ricorrente per dichiarare che alcune affermazioni scientifiche sono "sbagliate". Vedi È offensivo dichiarare un errore psicologico ? per maggiori dettagli su questo.

Ciononostante, questo corso metterà in risalto il ruolo della falsificazione di Popper nella creazione e valutazione della conoscenza scientifica. In questo contesto, l'unica strada percorribile riguarda l'identificazione e i modi in cui i dati falsificano le affermazioni scientifiche. Inoltre, facendolo giustamente, include intrinsecamente le abilità per riconoscere quando abbiamo sbagliato. Considera quanto segue, da Richard Alpert, ex presidente della National Academy of Sciences (citato in The Economist, 2013):

"E gli stessi scienziati hanno bisogno di sviluppare un sistema di valori in cui semplicemente passare dagli errori senza riconoscerli pubblicamente danneggia, piuttosto che proteggere, una reputazione scientifica."

Quindi, sviluppando gli strumenti scientifici, accademici, intellettuali e metodologici per determinare il vero da false deduzioni scientifiche, le affermazioni e le conclusioni saranno al centro di questo corso.

Obiettivi del corso

Questo corso ha tre obiettivi principali: 1. Comprendere le fonti e le manifestazioni di pratiche subottimali nella ricerca scientifica (risultati irriproducibili, studi irreprensibili, dati non ottenibili, analisi statistiche non valide o non articolate e procedure metodologiche, conclusioni fuorvianti o esagerate, ecc.), 2. Esaminare i tentativi di riforma attualmente in corso e valutare criticamente quali minacce per l'integrità scientifica sembrano essere mirate, quanto successo avranno, come valutare empiricamente il loro successo e identificare quali minacce all'integrità scientifica sono improbabili da affrontare ; e 3. Fornire un'introduzione agli strumenti concettuali ed empirici attualmente disponibili per determinare come individuare le affermazioni esistenti che emergono dalle quali sono disponibili validi elementi di prova.

Struttura di classe

La maggior parte delle lezioni implicherà la discussione delle letture di quella settimana (vedi Grading, sotto). Tuttavia, quando nuove tecniche metodologiche o statistiche (ad esempio, test per eccesso di significato, grafici a imbuto, curvatura di p, indicizzazione di incredibilità, valutazione del fattore N-Pact, intervalli di confidenza [non nuovi nel grande schema delle cose, ma richiesti di recente e, forse , non familiari a molti studenti] vengono introdotti, posso tenere conferenze per una parte o tutta una classe.

grading

Discussione principale: 20%

Ci saranno diverse letture assegnate ogni settimana. 1-2 studenti saranno tenuti a: 1. Generare una serie di domande di discussione; 2. Circularli almeno 3 giorni prima della lezione; 3. Iniziare, guidare e focalizzare la discussione sulle letture di quella settimana.

Partecipazione: 20%

Come tutte le altre mie classi, tranne 522 (2a classe stat class), la partecipazione è una parte obbligatoria e integrante della classe.

Sintesi: 10%

In primo luogo per assicurarsi che in genere leggano effettivamente gli articoli richiesti, sarà loro richiesto di fornire un breve riassunto di ciascun articolo.

Carta principale: 50%

Il documento principale riguarderà l'utilizzo di una delle nuove tecniche per valutare la validità della ricerca (ad esempio, fornire una trama a imbuto o una curva a p per quanto riguarda gli studi in una meta-analisi); usando una semplice tecnica per valutare la qualità della ricerca (ad es. errori o incompletezze nelle aree di ricerca) e / o ottenere dati da una fonte pubblicata e valutare se i risultati possono essere riprodotti (nota: io uso il termine "riproduci" per riferirsi a la risposta alla domanda: dopo aver ottenuto i dati pubblicati, se si fa l'esatta analisi descritta dagli autori, si ottiene esattamente lo stesso risultato?).

** Alcuni potrebbero obiettare che, contrariamente ad alcuni di quelli che passano per la psicologia "scientifica", almeno il Mago Will Fern ammette che crea illusioni.