4 modifiche che farò quando uso Amazon MTurk per la ricerca

Fonte: firma di Santa Cruz scattata da Robert Couse-Baker sotto licenza CC BY 2.0

Pochi giorni fa, ho descritto la mia esperienza piuttosto intensa e non del tutto piacevole lavorando part-time come un Amazon Mechanical Turk (MTurk)   lavoratore. Non solo questa esperienza mi ha lasciato "scosso e agitato" per così dire, ma mi ha anche fatto riflettere sui cambiamenti che devo apportare quando torno a utilizzare MTurk come ricercatore per raccogliere dati di indagine o sperimentali.

Ecco la mia lista di quattro cambiamenti che intendo fare quando uso MTurk per pubblicare il mio lavoro (i colleghi ricercatori sono invitati a unirsi a J).

1. Paga i lavoratori il doppio!

La questione della retribuzione è stata forse la rivelazione più sorprendente della mia esperienza e quella che sarebbe stata impossibile senza aver camminato per un settimana nelle scarpe di un lavoratore di MTurk. Finora, quando ho pubblicato i miei sondaggi su MTurk, ho pensato ai lavoratori in modi molto astratti e confusi, se li avessi pensati per niente.

Avendo lavorato in ricerche di marketing commerciale in precedenza, c'era un fastidioso senso nel retro della mia mente che stavo ottenendo i miei dati per un prezzo d'occasione (una volta ho lavorato a un progetto di ricerca che coinvolgeva detenuti, e anche un pubblico così in cattività costava circa $ 3 / sondaggio); ma l'ho spazzato via. A quale costo? Dopo la mia esperienza lavorativa, mi è chiaro che non stavo pagando abbastanza per il valore che ottengo dai lavoratori MTurk.

• Che conduce dal cuore
• Dovresti iniziare la tua attività?
• Mad Men: Don Draper sul divano
• Attività: impostazione degli obiettivi di visione
• Perché Lita Ford Still Rocks

Per un sondaggio di 6-7 minuti, ho offerto tra $ 40 e $ 60 in base al numero di domande aperte, alla lettura e alla comprensione dei passaggi, ecc. Da ora in poi offrirò almeno $ 1,00. Con il mio budget limitato per la ricerca, questo aumento unilaterale dei salari significa che dovrò lavorare di più sul front end per progettare e pianificare gli studi con più attenzione e fare meno di essi.

(E mi rendo conto che Amazon ha recentemente aumentato la commissione che impongono ai ricercatori sostanzialmente, ma per come la vedo io, è una questione completamente diversa che è meglio lasciare ai combattenti più feroci, non ha nulla a che fare con una remunerazione equa dei lavoratori).

Ecco, un professore di marketing offre di pagare il doppio! Strano, lo so.

• Cercatori di lavoro sovraqualificati Uniti
• 8 modi per diventare più potenti sul lavoro
• PREOCCUPANDO SULLA COSA SBAGLIATA
• Hai mangiato troppo o dopo il Ringraziamento? Perdona te stesso e poi sii riconoscente
• Sport: il più grande fenomeno di cui non hai mai sentito parlare

2. Controlla e mantiene diligentemente la qualità del sondaggio

Dal punto di vista degli operatori di MTurk, tutto ciò che li rallenta fa male, sia cognitivamente (nel modo in cui pensano e rispondono alle domande) sia nel libro tascabile! Tali punti di dolore possono includere molte cose. Domande che si traducono in sciocchezze, parole sbagliate o ambigue, errori di ortografia, errori grammaticali, flussi di indagini contorti, compiti che fanno sedere gli intervistati per più di due minuti mentre un orologio digitale si esaurisce, domande aperte che costringono le persone a scrivere un certo numero enorme di parole (o personaggi, sento che qualcosa di più di 100 caratteri è troppo), i sondaggi troppo lunghi (altre 70 domande complessive sono troppo lunghe a mio avviso) contribuiscono notevolmente al dolore del sondaggista.

Negli studi che io (oi miei coautori) abbiamo pubblicato su MTurk, siamo stati generalmente bravi in ​​queste cose. Ma noi esitiamo di tanto in tanto. A volte, abbiamo inserito in modo errato un tipo di risposta in una domanda in modo che uno spazio vuoto che dovrebbe essere effettivamente riempito con il testo imponga una risposta per un indirizzo email. Altre volte, lasciamo un errore di battitura nel sondaggio quando lo pubblichiamo che distrae gli intervistati. Sono piccole cose come questa che ci concentreremo sul fissaggio.

La mia supervisione di controllo della qualità più eclatante è che spesso salterò il copy-editing, il pretesting e il controllo dei questionari che sto per pubblicare su MTurk (per pura pigrizia o eccessiva sicurezza eccessiva, non so quale).

Il mio mantra d'ora in poi: Copyedit e poi pretestiamo il questionario su me stesso (e co-autori o minion) almeno tre volte prima che venga mai pubblicato per gli operatori di MTurk. Se non riesco a superarlo senza problemi, è probabile che neanche i rispondenti lo faranno.

Ho creato una lista di controllo che esamina tutti questi potenziali problemi e può essere utile ai ricercatori che conducono sondaggi online. Può essere scaricato qui.

3. Non solo ottenere il consenso informato, ma anche fornire l'opportunità di un "feedback informato"

Come la maggior parte dei ricercatori, inserisco un modulo di consenso informato che spiega la procedura del mio studio, i suoi potenziali rischi, le mie informazioni di contatto, ecc. All'inizio del mio questionario. Ma ora mi rendo conto che questo non è così utile come potrebbe essere per un paio di motivi.

• La forma è piuttosto densa. È irragionevole aspettarsi che gli operatori di MTurk lavorino sull'orologio per leggere attentamente più di 300 parole anche prima dell'inizio dello studio. Anche se chiedo ai lavoratori di stamparlo per riferimenti futuri, è improbabile che la maggior parte lo faccia.
• Il modulo di consenso informato è molto spesso l'unico luogo in cui vengono forniti il ​​nome e le informazioni di contatto del ricercatore. Tuttavia, il lavoratore ha davvero bisogno di queste informazioni alla fine, dopo aver premuto il pulsante finale e inviato il sondaggio.

Quindi, oltre a ottenere il consenso informato, otterrò un "feedback informato" alla fine del sondaggio e il codice di completamento fornito. È qui che sembra opportuno fornire le mie informazioni di contatto e chiedere un feedback e dare l'opportunità di esprimere eventuali reclami.

Gli esperti di marketing chiedono regolarmente ai clienti la loro esperienza dopo un pasto al ristorante o in aereo, quindi perché i ricercatori non dovrebbero fare la stessa cosa dopo un sondaggio su MTurk?

4. Supplementare gli studi di MTurk con campioni e metodi drasticamente differenti

Indipendentemente dall'adeguatezza statistica dei dati MTurk, c'è qualcosa di intrinsecamente puzzolente nella ricerca sulle scienze sociali condotta esclusivamente con un metodo che ha sondaggi che compilano sondaggi come i lavoratori della catena di montaggio che assemblano gli orologi Apple.

Lascia che ti dica perché. Nel processo decisionale morale, una classe importante (e orribile) di problemi comporta la scelta tra due situazioni DAVVERO male (che spero sinceramente che nessuno di noi abbia mai incontrato nelle nostre vite reali). Tali dilemmi includono: "Volete soffocare un bambino a mani nude per salvare una dozzina di estranei dall'essere uccisi?" O "Vorresti cucinare e servire il tuo cane / gatto in una festa del villaggio se ciò significasse che tutto il tuo villaggio sarebbe risparmiato dall'essere subito massacrato? " Yikes!

Questi tipi di domande sono orribili. Per qualsiasi normale essere umano, creano un turbamento emotivo e morale quando li incontri (almeno lo hanno fatto per me!). Questo è quello che dovrebbero fare. Ma supponiamo di incontrare sempre le stesse domande … e ancora; diciamo che incontri una dozzina di queste domande in 20 sondaggi ogni settimana (il processo decisionale morale è un argomento di ricerca popolare, dopo tutto).

Sentirai lo stesso intenso dilemma morale la diciassettesima volta che rispondi a queste domande? Non c'è modo! Andrai come: "Yawn! Oh bene, per calmare i predoni, cucinerò la Rover in bistecche per la festa del villaggio! Avanti! "Il mio punto è quando rispondi, potresti ancora rispondere alle domande nel modo in cui il ricercatore vuole, si aspetta o predice, ma sicuramente senza tumulto emotivo che sta al centro di tali decisioni morali!

Ci sono almeno altri due motivi per cui sono preoccupato di condurre esclusivamente ricerche basate su campioni di MTurk. Innanzitutto, a causa della facilità, dei costi e della velocità di esecuzione degli studi di MTurk, vi è una crescente tendenza a eseguire numerosi studi per lo stesso progetto con l'idea di replicare il risultato e utilizzare metodi statistici di fantasia come la meta-analisi su piccola scala per capire la dimensione dell'effetto in modo più affidabile .

Tuttavia, questo diluvio di dati acquisiti a buon mercato trascura il fatto che tutti gli studi sono stati condotti con gli assaggiatori che sono omogenei; quindi i risultati potrebbero non generalizzare al di là dei partecipanti all'indagine sulla linea di montaggio. E la verità è che sappiamo troppo poco degli addetti alle indagini professionali oltre al fatto che sono relativamente pochi.

In secondo luogo, in particolare per i ricercatori applicati, l'autocompiacimento derivante dall'aver condotto numerosi studi online sposta l'attenzione dal riconoscere i severi limiti associati alle attività basate sul testo che coinvolgono storie e scenari immaginari che i sondaggi online sono in grado di offrire. Tali misurazioni possono o meno trasferire a decisioni o comportamenti reali nel mondo reale che siamo veramente interessati a studiare.

Per questi motivi, ho intenzione di usare Campioni di MTurk principalmente per la conduzione di pre-test e per la ricerca esplorativa che costituisce una piccola parte di studi in ogni particolare progetto di ricerca. Così com'è, preferisco condurre studi sul campo (con clienti reali, per esempio) e misurare comportamenti reali piuttosto che opinioni su come si comporterebbero gli ispettori.

Voglio dire un'ultima cosa (se tu, il lettore, sei arrivato fino a qui senza scappare a maledirmi profondamente). Quando pubblichi un lavoro su MTurk, non sarebbe bello se i ricercatori usassero il loro vero nome e dichiarassero chiaramente la loro affiliazione? Usare pseudonimi come "SocPerfLab37" crea l'impressione di spammer online che lanciano il Viagra ogni giorno!

Ulteriori risorse

Un collettivo di lavoratori e ricercatori di MTurk chiamato Dynamo ha messo insieme un eccellente set di linee guida per i ricercatori che descrive molte delle cose che ho toccato qui in modo molto più approfondito e molto altro ancora. Il gruppo ha anche svolto ricerche interessanti sull'azione collettiva tra i lavoratori MTurk.

Più su di me

Insegno core marketing e pricing agli studenti MBA alla Rice University e la mia vita accademica è qui.

Puoi trovare e scaricare molti dei miei articoli accademici e alcuni dei miei scritti orientati ai professionisti di SSRN. Se non riesci a trovare qualcosa di vecchio che ho scritto, mandami un'email e te lo invierò.

Alcuni dei miei scritti per manager e uomini d'affari possono essere trovati su HBR.org e scrivo anche un blog relativamente nuovo intitolato "The Science behind Behaviour" su Psychology Today.

Puoi connetterti con me su LinkedIn o Facebook , oppure puoi inviarmi una email. Tutte le domande, i commenti, i pensieri e le idee per i futuri blog o progetti di ricerca accademici sono benvenuti. Non mandarmi messaggi di odio, per favore.

[Questo post è cross-postato da LinkedIn Pulse ]