• Principal
  • Métodos
  • 5. Os falsos resultados da pesquisa de opinião dos entrevistados, não apenas adicionam ruído

5. Os falsos resultados da pesquisa de opinião dos entrevistados, não apenas adicionam ruído

Os entrevistados que afirmam consistentemente aprovar ou favorecer tudo o que é solicitado não são os únicos a apresentar preconceito. Aqueles sinalizados por outros comportamentos suspeitos também responderam a questões políticas de maneiras diferentes de outros adultos. Em particular, aqueles que disseram que moram atualmente fora dos EUA ou que deram várias respostas não sequenciais expressaram níveis muito mais elevados de apoio ao desempenho de Donald Trump no trabalho e à lei de saúde de 2010 (também conhecida como Obamacare), em relação a outros entrevistados. Quase três quartos (74%) dos entrevistados que deram vários non sequiturs disseram que aprovam o desempenho de Trump no trabalho, em comparação com 41% dos entrevistados do estudo em geral. Da mesma forma, 80% dos que deram vários non sequiturs disseram que aprovam a lei de saúde de 2010, em comparação com 56% dos respondentes do estudo em geral.

Os falsos entrevistados têm uma probabilidade incomum de dizer que aprovam tanto o Obamacare quanto o TrumpA combinação dessas duas visões é relativamente rara no público. De acordo com as amostras recrutadas por endereço, 12% dos que aprovam o desempenho no cargo do presidente afirmam aprovar a lei de saúde de 2010. Entre aqueles que deram vários non sequiturs, no entanto, 86% daqueles que aprovam o desempenho no trabalho de Trump aprovam a ACA. Dado que este subgrupo expressa um ponto de vista altamente incomum e é conhecido por ter membros que fornecem dados falsos, essa combinação de atitudes provavelmente não deve ser considerada pelo valor de face.

Notavelmente, os controles de qualidade tradicionais tendem a sinalizar os entrevistados que expressam opiniões políticas mais comuns. Os entrevistados sinalizados por responderem muito rapidamente, não responderem às perguntas ou falharem em uma pergunta de verificação de atenção não são muito diferentes dos participantes do estudo como um todo nessas atitudes. Por exemplo, a aprovação do Affordable Care Act varia de 51% a 58% entre os entrevistados que receberam essas várias sinalizações - semelhante ao índice de aprovação geral para a ACA no estudo (56%).

Com base nessas descobertas, é compreensível como as equipes de pesquisa anteriores que examinaram essas bandeiras tradicionais poderiam ter concluído que esses entrevistados não eram tão diferentes e talvez sejam mais bem mantidos na análise da pesquisa. Mas as sinalizações de qualidade de dados destacadas neste estudo (por exemplo, responder à pesquisa várias vezes, dar respostas não sequenciais) contam uma história muito diferente. Esses sinalizadores mostram entrevistados suspeitos dando respostas sistematicamente diferentes para perguntas-chave. Como as respostas são sistemáticas (por exemplo, amplamente favoráveis ​​à lei de saúde de 2010 ou a Trump), eles mudam os números da pesquisa de linha superior em vez de simplesmente adicionar ruído.

Para quantificar as consequências para os resultados das pesquisas, os pesquisadores calcularam estimativas para as principais questões políticas com e sem falsos respondentes. Esta análise usa a mesma definição de respondentes falsos introduzida acima (um respondente que relatou morar fora do país, deu várias respostas não sequenciais, fez a pesquisa várias vezes ou sempre disse que aprovava / favorecia independentemente do que foi perguntado).

Os falsos entrevistados têm um efeito pequeno, mas consistente, sobre alguns números de pesquisas opt-in

Como observado acima, a taxa de respondentes falsos foi de 7% na pesquisa de crowdsourcing, 5% em média nas três pesquisas de painel opt-in e 1% em média nas duas pesquisas de painel recrutados por endereço. Com tão poucos membros do painel recrutados por endereço afetados, não é surpreendente que removê-los não tenha nenhum efeito sobre as estimativas. Para as pesquisas opt-in, por outro lado, a taxa de respondentes falsos é alta o suficiente para que tenham um impacto mensurável, embora pequeno. No painel opt-in 3, por exemplo, o índice de aprovação do trabalho do presidente cai dois pontos percentuais (de 42% para 40%) quando casos falsos são excluídos. Na amostra crowdsourced, a aprovação do trabalho de Trump cai quatro pontos percentuais quando casos falsos são removidos (35% a 31%).2,3Da mesma forma, o índice de favorabilidade de Vladimir Putin cai três pontos percentuais em duas das pesquisas do painel opt-in quando casos falsos são removidos.



Nem todas as estimativas da pesquisa, no entanto, são afetadas por falsos entrevistados. Por exemplo, as estimativas dos partidos políticos em que as pessoas confiam mais na economia não mudam em nada para duas das pesquisas de painel opt-in quando os falsos entrevistados são descartados. Da mesma forma, não há nenhuma mudança em algumas das estimativas opt-in para a ação dizendo que proteger o direito de possuir armas é uma prioridade mais alta do que promulgar novas leis para tentar reduzir a violência armada, quando casos falsos são arquivados.

Em outras estimativas, não há efeito perceptível e consistente de casos falsos

Uma característica se destaca ao observar quais perguntas são influenciadas por casos falsos e quais não são. As perguntas que permitem ao respondente dar uma resposta positiva parecem ser as mais afetadas. Por exemplo, a pergunta 'Você diria que as coisas neste país hoje estão geralmente indo na direção certa (ou) no caminho errado'? permite que o entrevistado diga que algo está dando certo em vez de errado. Conforme discutido acima, os entrevistados que fornecem dados falsos são muito propensos a fornecer respostas positivas. Em contraste, a bateria de perguntas 'Em quem você confia mais para lidar com cada uma das seguintes questões ... Democratas no Congresso ou Republicanos no Congresso'? basicamente não foi afetado por falsos entrevistados. A escolha de democratas contra republicanos aparentemente não corresponde a esse comportamento de dar respostas uniformemente positivas. Simplificando, o preconceito de dados falsos documentados neste estudo é politicamente agnóstico - nem pró-republicano nem pró-democrata.

Facebook   twitter