Quante migliaia di rilevatori di rilevamenti di Amazon MTurk ci sono?

Al giorno d'oggi, la maggior parte dei ricercatori sperimentali dei consumatori (per non parlare di psicologi sociali, politologi, economisti comportamentali, ecc.) Ha sostituito o integrato i gruppi di studenti con i lavoratori di Amazon Mechanical Turk (MTurk) per condurre le loro ricerche. L'utilizzo degli esaminatori di MTurk per la ricerca è comodo, economico e rapido. (È anche spesso sfruttatore, ma questo è un altro post sul blog).

Fonte: Zol Korabi di Rolo Natkys Flickr Licensed Under CC BY 2.0

Non c'è da meravigliarsi che decine di migliaia di studi di psicologia ogni anno siano attualmente condotti utilizzando lavoratori di MTurk come esaminatori. (Quando ho cercato su MTurk mentre stavo scrivendo questo post sul blog, erano disponibili 319 sondaggi per essere compilato come operatore MTurk, e non ho nemmeno la qualifica MTurk Master!)

Dato che una quantità significativa di ricerche in scienze sociali oggi si basa su lavoratori MTurk, è certamente la pena di saperne di più su queste persone. Questa informazione ha influito sulla validità della ricerca condotta. Vi sono molte domande importanti da porsi come:

• Chi e 'questa gente?
• Stanno rispondendo alle indagini in modo serio?
• Possiamo essere sicuri che tutto ciò che troviamo con questo gruppo si applica effettivamente alla popolazione più ampia? In altre parole, sono rappresentativi?
• Quanto sono valide le inferenze fatte dalle loro risposte? Di quali cose dovremmo essere preoccupati?

Ciascuna di queste domande merita di essere approfondita. Tuttavia, in questo post, voglio prendere in considerazione una domanda diversa che mi ha molto incuriosito: "Quanti sono i sondaggisti presenti su Amazon Mechanical Turk?"

• Infuriare nell'adulto
• Comportamento rischioso e vittimizzatori: due problemi, non uno
• Psicologia di Star Wars: i problemi con la diagnosi di Kylo Ren
• Sei dipendente?
• 21 modi per trasformare la cattiva volontà in buona volontà

Perché questa domanda è importante?

Traendo ispirazione da uno studio che discuterò un po 'più avanti in questo post, è utile pensare al sito di Amazon MTurk come a uno stagno, a ogni ricercatore come pescatore o pescatore e ogni lavoratore di MTurk come un pesce. Ogni volta che un ricercatore pubblica uno studio, sta lanciando una rete per catturare diverse centinaia di pesci. Catturano e rilasciano il pesce, ma nel processo estraggono un po 'di "essenza" dal pesce sotto forma di risposte alle domande del sondaggio, cambiando il pesce dalla sua condizione originaria.

Al momento, le reti vengono lanciate nello stagno di MTurk migliaia di volte ogni settimana da (per lo più) accademici, e sempre più da sondaggisti professionisti. Quindi le domande su "ci sono abbastanza pesce?" O se stiamo tutti catturando lo stesso pesce sono significativi.

Un grande gruppo di intervistati ha tre vantaggi: (1) maggiori possibilità di trovare caratteristiche diverse e un numero sufficiente di rispondenti con una certa caratteristica, ad esempio, osservatori televisivi pesanti o appassionati di escursionismo; (2) più intervistati "freschi" incontaminati che si prenderanno il compito di rispondere seriamente al sondaggio e farlo con il pensiero e l'onestà (cioè, qualcuno che non ha risposto alla scala generale di autocontrollo o al conservatorismo sociale ed economico scala una dozzina volte già), e (3) maggiore possibilità di un campione rappresentativo della popolazione in generale (anche se questo non è garantito).

• 7 segni di salute mentale
• Combattere per la nostra democrazia
• La ragione sottostante che non puoi mettere a fuoco
• Un set essenziale di strumenti per la produttività al lavoro
• Come mantenere le risoluzioni?

Direttamente dalla bocca del cavallo – Il sito di MTurk?

Il primo posto logico per cercare la risposta è il sito MTurk stesso. Ti aspetteresti che Amazon fornisca queste informazioni, aggiornate quotidianamente, per due motivi. Innanzitutto, questa è un'informazione fondamentale per i clienti di Amazon (i ricercatori accademici e commerciali) che li stanno pagando a caro prezzo per utilizzare il sito. Senza dubbio, aumenterebbe la qualità della ricerca fatta usando il sito. E in secondo luogo, sanno già quanti lavoratori MTurk usano il sito, quindi è molto facile (ed economico) per loro estrarlo e pubblicarlo. Ma sfortunatamente non è così.

La loro affermazione "Accedere a più di 500.000 lavoratori da 190 paesi" è praticamente priva di significato perché è imprecisa e non è cambiata da anni. Inoltre, non è chiaro quanti di questi presunti mezzo milione di persone abbiano effettivamente effettuato sondaggi o siano andati e venuti dal sito.

Per inciso, è sconvolgente, e un vero peccato, quanti media noti come il Guardian, il Wall Street Journal e persino organizzazioni di ricerca come il Pew Research Center riferiscono pigramente questo numero poco raccomandabile. Anche se questa non è una "notizia falsa", mi sembra una "notizia pigra" perché può distorcere il resto della storia che viene segnalata.

Non fantastico, Amazon e grandi media! Ok, quindi ora abbiamo bisogno di altre fonti per trovare il numero.

Stewart et al. studio, giudizio e processo decisionale, 2015.

Il professore di psicologia Neil Stewart e un team di ricercatori di sette diversi laboratori sparsi in diversi paesi hanno condotto lo studio più completo e impressionante (in termini di dimensioni e durata) fino ad oggi per rispondere a questa domanda che ho potuto trovare. Coprendo la raccolta di dati MTurk da tutti i loro laboratori da gennaio 2012 a marzo 2015, e impiegando un metodo statistico che gli ecologi normalmente usano per capire la popolazione di un particolare animale o uccello in natura, hanno concluso che il ricercatore medio che usa MTurk ha accesso a un pool di circa 7.300 intervistati in qualsiasi momento. Hanno anche scoperto che il 26% degli intervistati di MTurk "si ritira" ogni trimestre e viene rifornito da nuovi lavoratori. Inoltre, i loro laboratori hanno utilizzato per lo più intervistati statunitensi. Sono rimasto colpito dal loro confronto:

"Così la popolazione che il laboratorio medio può raggiungere è solo poche volte più grande del pool di partecipanti attivi in ​​un'università tipica (i pool di crediti corso tendono ad avere un assorbimento piuttosto elevato), con un tasso di turnover non dissimile da quello che va e viene di studenti universitari. "(p 485)

Quindi gli esaminatori di MTurk sono come una riserva di studenti universitari con steroidi!

Alcune delle loro altre conclusioni sono altrettanto stimolanti, per non dire altro. Circa il 65% dei partecipanti al sondaggio ha partecipato a più studi condotti dallo stesso laboratorio (ho ottenuto questo valore osservando la figura 5 nel loro articolo). Ora è molto probabile che questi diversi studi riguardino argomenti diversi, ma questo non è ancora l'ideale. E poco più del 50% dei partecipanti ha partecipato a studi di più laboratori. Questo è il pesce che viene catturato, rilasciato e catturato di nuovo, e rilasciato di nuovo, e catturato di nuovo, e ancora e ancora.

Potrei trovare altre due stime di provenienza precedente e / o usare quelli che pensavo fossero metodi meno affidabili:

• Uno studio del 2011 in Linguistica computazionale di Karen Fort, Gilles Adda e K. Bretonnel Cohen ha stimato il numero di esaminatori tra 15.059 e 42.912. Questo era basato su stime di sondaggi di un gruppo di lavoratori MTurk e aggiustate usando l'opinione di esperti. Inoltre, hanno incluso anche intervistati non statunitensi (un discreto numero di lavoratori proviene dall'India).
• Un commentatore anonimo su Reddit ha dichiarato di essere in grado di ottenere 6.000 responder unici in una settimana senza condizioni o restrizioni su chi potrebbe partecipare al loro studio.

Quindi cosa fare di questi numeri?

Per dare un po 'di prospettiva, la compagnia di pannelli online YouGov afferma di avere un panel online di 4 milioni di panelisti in 37 paesi e un panel statunitense di 1,8 milioni di panelist. Allo stesso modo, SurveyMonkey afferma di avere un panel online di oltre 30 milioni di persone e Slice Intelligence di avere 4,2 milioni di persone nel proprio pannello online. Ovviamente, queste sono solo affermazioni, proprio come la rivendicazione "Oltre 500.000 …" di Amazon, ed è impossibile verificarne nessuna.

Tornando su Amazon MTurk, mi sembra che non ci siano molti pesci e che ci siano troppe reti gettate nello stagno di MTurk. Questa non è certamente una buona notizia se sei un ricercatore psicologico perché la stragrande maggioranza dei lavoratori di MTurk ha preso dozzine, se non centinaia, di altri sondaggi in un breve lasso di tempo. È molto probabile che molti di loro si trovino nel bel mezzo di una sessione di rilevamento di una maratona. Questo può creare tutti i tipi di problemi se il ricercatore sta tentando di produrre una manipolazione psicologica come un'induzione dell'umore, una mentalità specifica, ecc. (Ulteriori informazioni su questo in un prossimo post).

Troppe persone pescatrici, non abbastanza pesce.

Quindi questa è l'immagine che ci rimane. Immagina uno stagno con circa 10.000 pesci che nuotano in qualsiasi momento. E poi immagina decine di migliaia di pescatori e pescatrici allineati intorno al laghetto e gettano le loro reti migliaia di volte ogni settimana, catturando il pesce, sondandoli e rilasciandoli indietro, catturando, sondando, rilasciando, catturando, sondando e rilasciando poi ancora e ancora. Non c'è da meravigliarsi che un quarto del pesce si ritiri ogni tre mesi. Sono probabilmente bruciati dal sondaggio numeroso dei pescatori. Questo è quello che l'utilizzo degli operatori di MTurk per fare ricerca sulle scienze sociali è come circa all'inizio del 2017. Non è una bella vista.

PS:

Dopo aver scritto questo post, Kristy Milland (Twitter handle: @TurkerNational) mi ha inviato un link a uno studio condotto (vedi i suoi commenti sotto). Nel corso di un periodo di sei settimane nel 2015, ha ottenuto 25.293 partecipanti unici negli Stati Uniti, e un totale di 30.002 partecipanti (la maggior parte dei restanti sono stati dall'India) per completare il suo successo. Nota questo include tutti i lavoratori di MTurk, non solo i partecipanti all'indagine. Il link ai risultati dello studio di Kristy può essere trovato qui.

A proposito di me

Insegno marketing e prezzi agli studenti MBA alla Rice University. Puoi trovare maggiori informazioni su di me sul mio sito web o seguirmi su LinkedIn, Facebook o Twitter @ud.