Pontos de inflamação na votação

Por Claudia Deane, Courtney Kennedy, Scott Keeter e Kyley McGeeney

Atualizado em 24 de outubro de 2016

As enquetes são confiáveis? Essa questão está na mente de aparentemente todos que acompanham a campanha de 2016, embora não seja exclusiva deste ciclo eleitoral. A resposta é complicada, graças aos inúmeros desafios que as pesquisas enfrentam e ao fato de as pesquisas terem reagido a esses desafios de maneiras distintas.

Algumas pesquisas são conduzidas literalmente da noite para o dia com amostras de conveniência e passam por pouco ou nenhum ajuste. Outros são meticulosamente colocados em campo por dias ou até semanas com designs robustos e podem ser ajustados usando técnicas de ponta. Essas diferenças dramáticas, que comprovadamente afetam a precisão, costumam ser obscuras para os consumidores de notícias. O que se segue é uma revisão geral do estado das pesquisas, organizada em torno de uma série de pontos-chave com links para referências e pesquisas para aqueles que desejam compreender melhor o campo.

O desbotamento rápido do telefone fixo

Os telefones fixos serviram como burros de carga na pesquisa por muitos anos. Encontrados em quase todas as casas, ancorados de forma imóvel em uma localização geográfica e fornecendo uma promessa implícita de que um entrevistado estava em algum lugar relativamente privado, eles dominaram o panorama da pesquisa por quatro décadas.

O desafio:Os telefones fixos estão seguindo o caminho do dinossauro, sendo rapidamente substituídos pelos celulares. De acordo com o National Center for Health Statistics, que monitora seu uso, menos de um em cada dez adultos norte-americanos usava wireless apenas 10 anos atrás. Em 2015, quase metade era.



Isso significa que se um pesquisador ligar apenas para números fixos, ele sistematicamente excluirá metade da população - e está longe de ser uma metade aleatória. Estimativas do governo mostram que os americanos que têm um celular, mas não um telefone fixo são desproporcionalmente jovens e não brancos, entre outras diferenças.

Em geral, as pesquisas por telefone reagiram a essa evolução de uma das três maneiras: discando telefones celulares além de telefones fixos; suplementando as amostras de linha fixa com amostras opt-in conduzidas online; ou continuando a argumentar que tudo está bem. (Veja as primárias do Partido Democrata de Michigan de 2016 para saber como essa última opção pode resultar.) Organizações que ligam para telefones fixos e celulares geralmente usam entrevistadores ao vivo, enquanto aquelas que combinam amostras de linha fixa e online tendem a usar pesquisas telefônicas automatizadas conhecidas como resposta de voz interativa (IVR) .

A pesquisa:Embora a pesquisa independente sobre designs híbridos de 'IVR + internet' seja escassa, há um corpo considerável de conhecimento sobre pesquisas de entrevistas ao vivo que discam números de telefones fixos e celulares. Os resultados são encorajadores. Ao contrário das alegações de que o declínio das linhas fixas fez as pesquisas 'oscilando à beira do desastre', há evidências sólidas de que pesquisas por telefone bem planejadas são tão precisas, se não mais, hoje do que eram há uma geração.

Um novo estudo demonstra que, à medida que os pesquisadores discam proporcionalmente mais telefones celulares e menos linhas fixas, a qualidade dos dados tem melhorado. E o trabalho mais recente do Pew Research Center sobre este tópico mostra que as pesquisas de opinião pública de adultos nos EUA poderiam passar a 100% no celular e não ver uma diminuição na qualidade dos dados. Isso está muito longe de ser o telefone celular a morte da pesquisa de opinião! E quanto ao lamento de que as entrevistas no celular custam mais do que o telefone fixo, as pesquisas exploraram maneiras de aumentar a eficiência das entrevistas no celular.

A ascensão dos smartphones

Hoje em dia, é comum ver pessoas grudadas em seus smartphones. Então, o que os pesquisadores de pesquisas estão fazendo para tirar proveito dessa tecnologia poderosa?

O desafio:Os smartphones oferecem uma infinidade de maneiras de convidar ou lembrar as pessoas de responder a uma pesquisa, bem como uma maneira de coletar respostas reais da pesquisa. No entanto, nem todo mundo tem um smartphone (apenas 68% dos adultos nos EUA têm), o que significa que eles devem ser usados ​​em conjunto com outros métodos de contato e coleta de dados para garantir que todos possam participar de uma pesquisa. E mesmo quando podem ser usados, têm limitações. Obstáculos como telas pequenas e dificuldades técnicas são abundantes.

A pesquisa:Muitos estudos foram conduzidos para analisar as práticas recomendadas para o uso de smartphones para pesquisas. Alguns se concentram em como projetar pesquisas na web para serem concluídas em um dispositivo móvel, o que é importante visto que 43% dos membros do painel de tendências americanas concluem suas pesquisas em um smartphone. O Pew Research Center publicou um resumo de alguns deles no ano passado que aborda especificamente algumas das limitações dos dispositivos móveis e como superá-las.

O Centro também experimentou fazer com que os entrevistados usassem um aplicativo de smartphone para responder a uma pesquisa na web. Foi aqui que as dificuldades técnicas se mostraram mais problemáticas, mas no final os dados do aplicativo se mantiveram em comparação com os dados de uma pesquisa de navegador da web. O Centro também publicou um relatório analisando um experimento usando mensagens de texto para enviar convites de pesquisas e lembretes. Pesquisadores acadêmicos também experimentaram mensagens de texto como um método de contato para pesquisas (veja uma dessas duas peças como exemplo). Outro grupo analisou o uso de mensagens de texto para fins de coleta de dados, enquanto outros ainda compararam o efeito do uso de mensagens de texto para contato com o uso delas para coleta de dados. A pesquisa nesta área continua a evoluir, mas está claro que o poder do smartphone tem o potencial de ser aproveitado em benefício da pesquisa de opinião.

Ainda tem o mesmo número de celular que tinha em 2006?

Uma das principais diferenças entre telefones celulares e fixos é que, quando as pessoas se mudam, podem levar seus números de celular com elas. Em muitos aspectos, é uma conveniência. Mas pode ser uma grande dor de cabeça para os pesquisadores que tentam fazer pesquisas em nível estadual ou local.

O desafio:Pesquisadores por telefone usando discagem de dígitos aleatórios (RDD) normalmente extraem uma amostra de números de telefone da área geográfica sendo pesquisada. Por exemplo, se eles estão fazendo uma votação em Ohio, eles extraem amostras aleatórias de telefones fixos e números de celulares de Ohio. Se as pessoas que moram lá tiverem um número de celular de um estado diferente, elas não serão incluídas nessa amostra. Da mesma forma, pessoas com números associados a Ohio, mas que moram em outro lugarvaiser chamado, levando a um desperdício de esforço por parte do pesquisador. A exclusão de um grupo de pessoas, como os recém-chegados a um estado, especialmente aquele que se mostra demograficamente distinto, tem o potencial de distorcer as estimativas da pesquisa.

Quão grande é o problema dos números de celular fora da área para os pesquisadores? A resposta depende inteiramente da população geográfica que estão tentando atingir. Para as pesquisas nacionais, não é um problema. Ao ligar para todo o país, os pesquisadores alcançam uma população-alvo dos Estados Unidos adultos independentemente de qualquer incompatibilidade interna entre cidades e estados. Se eles quiserem relatar os resultados da pesquisa por geografia, os pesquisadores podem usar a localização informada pelos entrevistados em vez da localização associada ao seu telefone celular. Mas para os pesquisadores que conduzem pesquisas em nível estadual ou local, especialmente em áreas onde a taxa de incompatibilidade é alta, números de telefones celulares fora da área são uma preocupação séria. Isso ocorre porque a localização autorrelatada não está disponível ao selecionar a amostra de números para ligar.

A pesquisa:Um novo estudo do Pew Research Center relata que 10% dos adultos nos EUA têm um número de celular que não corresponde ao estado onde eles realmente moram. Para moradores urbanos, cerca de 41% têm um número que não corresponde aocidadeonde eles moram. A tendência é mais pronunciada em Washington, D.C., onde 55% dos residentes com telefone celular têm um número de fora do distrito. Em algumas partes do país, por outro lado, isso é quase um problema. Em Michigan, por exemplo, apenas 5% dos adultos com telefones celulares têm um número de fora do estado. Embora algumas soluções técnicas estejam em andamento, atualmente não há uma maneira infalível de capturar pessoas com números fora do estado ou fora da área em pesquisas telefônicas subnacionais com adultos.

Alguns profissionais, especialmente os pesquisadores partidários, contornam esse problema por meio da amostragem de um arquivo eleitoral em vez de usar o RDD. Os arquivos de eleitores contêm qualquer número de telefone listado pelas pessoas quando se registraram para votar. Em alguns casos, esse é um número de celular ao qual as pessoas se agarram durante uma mudança. Os profissionais que seguem o RDD, por outro lado, geralmente simplesmente ignoram o problema e esperam que ele não leve a um viés ou complementem sua pesquisa com números de telefones celulares conhecidos por terem um endereço de cobrança no estado ou cidade pesquisada.

Pesquisas eleitorais

Em um ano de eleição, é impossível ignorar o membro mais proeminente da família eleitoral: a votação 'corrida de cavalos', assim chamada porque seu principal uso é determinar qual candidato está à frente em uma corrida específica em um determinado momento. Como tem acontecido em ciclos anteriores, a votação foi usada este ano para determinar quais candidatos apareceriam no palco nos debates, bem como para prever o resultado das primárias dos partidos estaduais e, é claro, para prever o prêmio final, as eleições gerais. A pesquisa de corrida de cavalos está sujeita à maioria dos problemas descritos neste relatório, mas também tem um desafio adicional que é exclusivo de seu propósito: a caça ao indescritível 'eleitor provável'.

O desafio:O que parece óbvio é, na verdade, notoriamente difícil de realizar. Para descobrir qual candidato vencerá, você precisa falar apenas com os eleitores registrados que realmente reservarão um tempo para votar. E com a participação nas eleições gerais girando em torno de 60% da população adulta, isso significa que você precisa separar muitas pessoas. Adicione a isso o fato de que admitir que eles não planejam votar faz com que alguns entrevistados se sintam mal o suficiente para se permitirem algumas respostas ansiosas e você terá um problema real. O desafio de prever quantas pessoas votarão e quem serão adiciona uma camada adicional de erro potencial às pesquisas eleitorais.

A pesquisa:Para resolver esse problema, os pesquisadores desenvolveram uma coleção de possíveis 'modelos de eleitores prováveis' que podem aplicar à sua pesquisa para tentar identificar as pessoas que realmente comparecerão no dia da eleição. Esses modelos podem, por exemplo, perguntar aos respondentes o quanto eles pensaram sobre a eleição, se votam regularmente e se sabem aonde as pessoas em sua área vão votar.

Uma reviravolta interessante é que a era moderna de acesso aos 'arquivos de eleitores' reais - listas compiladas por estados e agregadas por fornecedores comerciais que denotam quais indivíduos realmente votaram em quais eleições - significa que os pesquisadores não precisam mais confiar apenas em sua palavra quanto a se você vai votar. Eles também podem verificar o comportamento anterior. Uma pesquisa recente do Pew Research Center descobriu que os modelos que incluem informações sobre o comportamento anterior de voto das pessoas superam os outros.

Outros pesquisadores abordaram o problema de um ângulo diferente. Em vez de tentar aperfeiçoar um provável modelo de eleitor, eles se concentram em distribuir grandes amostras e ponderá-las em modelos muito detalhados do eleitorado. Especificamente, alguns pesquisadores tiveram sucesso usando técnicas estatísticas avançadas, que possuem siglas atraentes como MrP (regressão multinível e pós-estratificação) e BART (árvores de regressão aditiva bayesiana). Essas técnicas podem ser usadas para alavancar informações sobre o perfil dos eleitores em eleições anteriores para ajustar os dados da votação para uma próxima eleição.

Os pesquisadores que aplicam esses métodos estão menos preocupados em apresentar uma amostra nacionalmente representativa e mais preocupados em produzir estimativas fortemente modeladas que reflitam todas as informações disponíveis sobre o eleitorado. Eles admitem que suas amostras podem ser terrivelmente tendenciosas, mas argumentam que isso pode ser superado por meio de modelagem estatística. Os consumidores de pesquisas interessados ​​na vanguarda das pesquisas de opinião fariam bem em seguir as empresas que testam esses tipos de abordagens.

Taxas de resposta

As taxas de resposta medem o quão bem os pesquisadores estão fazendo para alcançar as pessoas que pretendem alcançar. Eles geralmente refletem dois fenômenos diferentes, mas relacionados: até que ponto os pesquisadores podem entrar em contato com o respondente da amostra e até que ponto eles podem convencer o respondente a fazer a entrevista.

O desafio:As taxas de resposta, antes vistas como um indicador primário da qualidade de uma pesquisa, vêm diminuindo há décadas. Eles estão na casa de um dígito para muitas pesquisas públicas conduzidas por organizações sem fins lucrativos ou comerciais. Embora isso certamente não pareça bom, a falta de resposta só é um problema para os resultados da pesquisa se as pessoas que não falam com os pesquisadores forem marcadamente diferentes das pessoas que o fazem. O Pew Research Center fez seu primeiro grande estudo sobre o impacto da não resposta à pesquisa em 1997, quando a taxa de resposta por telefone do Centro era de 36%. Quando atualizamos o estudo em 2012, a taxa média de resposta era de apenas 9%.

A pesquisa:Taxas de resposta em declínio têm sido uma fixação para os pesquisadores, que acompanham sua vazante como falcões. Embora poucos afirmem que as taxas de um dígito são motivo de orgulho, a pesquisa até agora - incluindo a trilha de 15 anos compilada por David Dutwin do SSRS, abaixo - não sugeriu que taxas de resposta decrescentes estão levando a taxas de erro crescentes. Por outro lado, um dos poucos tipos de viés de não resposta que tem sido notado de forma consistente pelos pesquisadores é o fato de que aqueles que participam de pesquisas também são mais propensos a participar de atividades cívicas - eles são mais propensos a serem 'ingressantes', em outras palavras. Nossos próprios Scott Keeter e Drew DeSilver fizeram um resumo sobre os desafios da votação quando menos pessoas estão disponíveis para serem pesquisadas, que cobre esta e outras questões.

Enquetes online

Pesquisas online se tornaram um elemento básico do panorama de pesquisas. Habilitados pelo surgimento e alcance da Internet, eles permitem que os pesquisadores recrutem um grande número de americanos para uma pesquisa com rapidez e baixo custo.

Embora algumas pesquisas on-line sejam recrutadas off-line e com base em amostras de probabilidade (consulte nosso Painel de Tendências Americanas), a maior parte - e o foco desta seção - são as pesquisas de não probabilidade. Essas são pesquisas para as quais os respondentes não são selecionados aleatoriamente, com uma probabilidade de seleção conhecida, em uma população conhecida. Em vez disso, esses são exemplos de conveniência, com pessoas sendo recrutadas por meio de técnicas como banners online. Algumas dessas pesquisas online são feitas com painéis - grupos de pessoas que concordaram em responder a uma série de pesquisas em andamento da mesma empresa ou organização, enquanto outras são pesquisas pontuais conduzidas com pessoas interceptadas no decorrer de alguma outra atividade online como tentar acessar um site, verificar uma conta de mídia social ou usar um mecanismo de pesquisa.

O desafio:A maioria das pesquisas online não começa com uma amostra aleatória, então os pesquisadores devem se basear fortemente em cotas demográficas, ponderação ou outras técnicas de modelagem para produzir suas estimativas. De modo geral, isso exige que o pesquisador se ajuste a todas as maneiras relevantes pelas quais sua amostra online é diferente da população dos EUA.

É claro que mesmo pesquisas RDD por telefone bem projetadas exigem ponderação. Até o momento, porém, a maioria das pesquisas mostrou que as pesquisas online tendem a ter mais erros do que as pesquisas RDD e, portanto, exigem mais modelagem.

A pesquisa:Em 2016, as pesquisas on-line não probabilísticas desempenham um papel importante no universo da pesquisa, e aqui no Centro estamos ansiosos para entender melhor seus pontos fortes e fracos. Um estudo recente feito por nossa equipe de métodos analisou nove pesquisas online conduzidas por oito fornecedores diferentes e descobriu que seus resultados variam amplamente. Os resultados do melhor desempenho pareciam relativamente bons quando comparados com pesquisas de benchmark de alta qualidade patrocinadas pelo governo. Outros tiveram um desempenho pior. Uma descoberta importante foi que extrema cautela deve ser exercida ao usar pesquisas online para analisar dados entre os principais grupos raciais e étnicos, já que as estimativas para negros e hispânicos com base nas fontes online testadas eram particularmente imprecisas.

Quanto à abordagem atual do Centro, nosso diretor de pesquisa explicou recentemente em uma sessão de perguntas e respostas online que 'estamos planejando mais trabalho neste tópico, mas por enquanto continua experimental. Ainda estamos usando a discagem de dígitos aleatórios por telefone como nosso projeto principal, embora empreguemos amostras de não probabilidade para testes de questionário e para certos estudos especializados ”.

A associação comercial líder para pesquisadores de pesquisa, a Associação Americana para Pesquisa de Opinião Pública (AAPOR), também publicou um relatório detalhado sobre pesquisas de não probabilidades em 2013.

‘Rótulos nutricionais’ para pesquisas

As diferenças em como as pesquisas são conduzidas podem ser enormes. No entanto, para o consumidor médio de notícias, essas diferenças são quase sempre opacas. As pesquisas são tratadas como uma mercadoria. Hoje, os observadores das pesquisas podem estar tão perdidos quanto os compradores de mercearias antes que a rotulagem nutricional se tornasse obrigatória em 1990. Alguns pesquisadores fornecem informações extensas em seus sites sobre como conduzem seu trabalho, mas muitos não o fazem.

O problema:Relatórios padrão - que normalmente são apenas o tamanho da amostra de uma pesquisa e a margem de erro - mascaram diferenças importantes entre as pesquisas em como são coletadas e ajustadas estatisticamente. Em alguns casos, as diferenças que são ignoradas explicam por que algumas pesquisas são mais precisas do que outras. Os repórteres precisam de alguma forma de diferenciar as pesquisas que sejam confiáveis ​​- ou pelo menos abertas sobre sua metodologia - das que não são.

A pesquisa:Participe da Iniciativa de Transparência - o maior impulso da comunidade de pesquisas para encorajar os pesquisadores a serem abertos sobre como conduzem suas pesquisas públicas. Esta iniciativa, que tem o compromisso de organizações de pesquisa de divulgar certos detalhes essenciais sobre seus métodos, foi lançada pela AAPOR em 2014 e atualmente tem mais de 75 membros, incluindo o Pew Research Center.

A iniciativa não faz julgamentos sobre a qualidade ou rigor dos métodos divulgados. Ele simplesmente reconhece a disposição dos membros de divulgar publicamente seus procedimentos. Assim como os produtores de alimentos relatam coisas como calorias e sódio, os pesquisadores pertencentes à Iniciativa de Transparência são obrigados a relatar como sua amostra foi selecionada, o quadro de onde foi extraído, se houver, e informações sobre o ajuste de peso, entre outros detalhes. Pertencer ao Conselho Nacional de Pesquisas Públicas (NCPP) e depositar os dados da pesquisa no Centro Roper para Pesquisa de Opinião Pública são indicadores semelhantes, embora talvez menos elaborados, de que uma empresa de pesquisas está comprometida em promover altos padrões nas pesquisas.

Mas isso está fazendo bem? Para jornalistas de dados e outros repórteres em busca de uma maneira de saber se devem confiar em uma pesquisa, a resposta é sim. De acordo com FiveThirtyEight, Nate Silver, 'A participação na AAPOR Transparency Initiative, NCPP ou no arquivo do Roper Center continua a ser um forte indicador da precisão das pesquisas'. Para os observadores das pesquisas que procuram descobrir o que aconteceu naquela pesquisa que acabaram de consumir, é um passo na direção certa.

Pesquisa de pesquisa encontra Big Data

Existem agora mais maneiras do que nunca de descobrir o que um grande número de americanos pensa, valoriza e faz. Isso porque a revolução digital tornou possível ver o que eles fazem por meio do rastreamento do comportamento online; leia o que eles pensam no Facebook, Twitter e blogs; e determinar o que eles valorizam por onde passam o tempo online e o que compram.

O desafio:Esse tipo de 'big data' muitas vezes está em mãos comerciais ou privadas, indisponíveis para pesquisadores. Muitas vezes foi criado para outros fins que não a pesquisa e, portanto, não foi projetado para responder às perguntas que os estudiosos querem fazer a ele. E na maioria das vezes não é totalmente representativo das populações de interesse. (Um caso em questão: nem todo mundo está no Twitter.)

De acordo com Robert Groves, um ex-diretor do Census Bureau e atual reitor da Georgetown University e membro do conselho do Pew Research Center, os pesquisadores da pesquisa estão trabalhando duro por 10 anos enquanto tentam enfrentar o desafio de trazer esses grandes dados para o campo opinião pública. Em seu blog, Groves observa: 'Os dias em que uma única fonte de dados merece nossa total confiança são limitados em muitas medições sociais e econômicas. O futuro será conquistado por aqueles profundamente sintonizados com as propriedades de erro dos dados sendo combinados '.

A pesquisa:A AAPOR produziu recentemente um relatório abrangente sobre como os pesquisadores de pesquisa estão tentando fazer uso de big data. O Pew Research Center lançou o Data Labs no outono de 2015 para começar a experimentar novas fontes de dados e novas técnicas de análise, incluindo aprendizado de máquina, processamento de linguagem natural e web scraping, a fim de complementar nossas linhas de trabalho mais tradicionais em pesquisas e pesquisas demográficas. Observe este espaço para obter os resultados dos próximos meses.

Facebook   twitter