Come evitare di essere ingannato dai sondaggi di opinione

Secondo un titolo sul sito web della rivista Cosmopolitan , "Survey dimostra che la maggior parte degli americani pensa che Caitlyn Jenner stia per cambiare il mondo." Scoverò le probabilità che la maggior parte degli americani sia sorpresa di apprendere che questo è ciò che pensano. Prendimi, per esempio. Sono dell'opinione che Caitlyn Jenner abbia fatto più della sua giusta parte nel cambiare, grazie mille. Questo significa che non sono un americano "il più"?

In realtà, il mio articolo non parla di Caitlyn Jenner, benedica il suo cuore (come affermano i sudisti). Si tratta di sondaggi fallibili e interpretazioni distorte di quanto spesso riportato dai media. Chiunque abbia scritto il titolo sopra o sapeva che era una montatura o non lo sapeva e non gli importava. Non so che sia peggio. Forse lo sono entrambi (peggio, questo è). Non c'è niente nel sondaggio su Jenner che cambia il mondo. Nella migliore delle ipotesi, suggerisce che potrebbe contribuire ad aumentare l'accettazione del transgenderismo.

Il sondaggio è stato condotto congiuntamente da NBC News e dall'Università della Pennsylvania. Sembra credibile, giusto? Questo è quello che dovresti pensare. Lo scopo di questo sondaggio è influenzare il tuo pensiero. L'implicazione non così sottile è che tu sei nella minoranza che pensa al contrario, se non sei d'accordo. Ma perché questo sondaggio, su questo argomento? E perché adesso? Cosa stanno vendendo? Questi sono i tipi di domande che forniscono una base per testare i meriti di questo o di altri sondaggi.

Se un sondaggio deve essere utilizzato per rappresentare le opinioni di una maggioranza di americani (o di qualsiasi altro grande gruppo), deve essere condotta utilizzando una metodologia scientificamente valida. Altrimenti non rappresenta nient'altro che le opinioni di coloro che hanno partecipato al sondaggio. Nessun sondaggio è assolutamente incontaminato e impeccabile. C'è sempre un margine di errore di campionamento o di bias. Dobbiamo vedere se riusciamo a trovare i difetti e determinare se sono di importanza minima o maggiore. Scopriamo alcuni indizi.

Il primo indizio è molto sottile – come una mazza da baseball che colpisce il ponte del tuo naso a velocità di curvatura. Il sondaggio è stato condotto utilizzando un campione non probabilistico . In chiaro inglese, i partecipanti al sondaggio non sono stati selezionati casualmente. A volte questo approccio è necessario perché il campionamento casuale sarebbe troppo arduo o costoso. Esistono vari tipi di campionamento non probabilistico, alcuni migliori di altri per questo tipo di sondaggio. I sondaggisti usavano il campionamento della convenienza , cioè facevano affidamento su persone che si offrivano volontarie per partecipare.

La convenienza del campionamento mina l'affermazione che la maggior parte degli americani concorda con i risultati. Le persone che si offrono volontariamente per partecipare possono avere un'agenda personale, una prospettiva parziale, una connessione emotiva al problema, o possono rispondere semplicemente perché gli è stata promessa una ricompensa per la partecipazione. (Non ho informazioni sul fatto che NBC News / UPenn abbia offerto una ricompensa). Supponiamo che stiate per condurre un sondaggio sulle opinioni degli americani sull'aumento del salario minimo. Ti fideresti dei risultati se le uniche persone intervistate fossero quelle che si sono offerte volontarie per esprimere le proprie opinioni su quell'argomento? Affermare che i risultati di tale sondaggio rappresenterebbero le opinioni della maggior parte degli americani sarebbe inverosimile.

Come è prassi prevista nella ricerca accademica, i sondaggisti di UPenn riconoscono questi limiti nella loro metodologia:

    Poiché il campione è basato su quelli che inizialmente si auto-selezionavano per la partecipazione piuttosto che su un campione di probabilità, non è possibile calcolare stime dell'errore di campionamento. Tutte le indagini possono essere soggette a molteplici fonti di errore, inclusi, ma non limitati a, errore di campionamento, errore di copertura e errore di misurazione.

    Un altro punto debole è che le risposte al sondaggio sono state raccolte tramite sondaggi online (ad esempio, tramite Survey Monkey). Non c'è niente di sbagliato nel sondaggio online come mezzo per raccogliere dati. Il problema sta nel fatto che le persone anziane, in particolare quelle con più di 70 anni, hanno meno probabilità di rispondere a un sondaggio online. Possono quindi essere sottorappresentati nel campione, e questo di nuovo mina l'affermazione che il sondaggio sia rappresentativo della maggior parte degli americani.

    Poiché questo sondaggio è stato commissionato da NBC News ed è stato distribuito ad altri media, come Cosmopolitan , l'ipotesi ragionevole è che sia stato commissionato allo scopo di produrre notizie e aumentare la quota di pubblico e le percentuali di clic. (Oh, per quei giorni tranquilli in cui i media non hanno fatto la notizia, l'hanno appena messa in vendita.)

    I sondaggisti di UPenn hanno fatto altrettanto bene che ci si poteva aspettare, data la portata del loro compito e i vincoli di tempo e budget. Tuttavia, un disegno di ricerca imperfetto produce risultati imperfetti. Questi non sono certamente risultati che sostengono l'affermazione secondo cui "la maggior parte degli americani pensa che Caitlyn Jenner cambierà il mondo".

    World to Caitlyn: non cambiare.