Um guia de campo para a votação: Edição Eleições 2020

Embora a pesquisa de pesquisa nos Estados Unidos seja uma tarefa que dura o ano todo, o foco do público nas pesquisas nunca é mais intenso do que durante a corrida para uma eleição presidencial. Este ensaio é nossa tentativa, como metodologistas de pesquisa e pesquisadores de ciências sociais, de avaliar o estado do artesanato em 2019.

'Posso confiar nas pesquisas'? está entre as perguntas mais comuns que recebemos no Pew Research Center. E, talvez mais direto ao ponto, 'Qualpesquisas em que posso confiar '?

Há uma resposta razoavelmente direta para a primeira pergunta. Pesquisas conduzidas com rigor ainda são confiáveis, desde que você aplique uma dose de discriminação e seja realista sobre o que as pesquisas podem ou não fazer. Mas a resposta à segunda pergunta - como separar as 'boas' das 'ruins' - é consideravelmente mais complicada nesta era de mudanças e inovações no setor de pesquisas.

Antes de nos aprofundarmos na melhor forma de tentar essa classificação, vamos dar uma olhada mais ampla na questão da confiança nas pesquisas.

A votação está quebrada?

Aqui está um mito que podemos deixar de lado desde o início: a votação não está 'quebrada'. Pesquisas bem elaboradas e administradas com cuidado ainda funcionam, e há muitas evidências empíricas para comprovar isso.1

Mesmo fora dos EUA, há evidências substanciais de que a pesquisa não testemunhou um declínio substancial na precisão. Uma revisão abrangente da precisão das pesquisas publicada em 2018 concluiu que, 'dependendo das pesquisas de intenção de voto de mais de 200 eleições em 32 países durante um período de mais de 70 anos, não há evidências de que os erros de pesquisa tenham aumentado ao longo do tempo…. '

Espere, e as pesquisas para as eleições presidenciais de 2016?

Em 2016, problemas com pesquisas em alguns estados importantes do meio-oeste levaram muitas pessoas a subestimar as chances de vitória de Donald Trump. Como conseqüência, a avaliação pós-eleitoral imediata foi de que houve um colapso completo das pesquisas.



Mas essa 'narrativa instantânea' acabou sendo simplificada demais. A eleição de 2016 não foi, de fato, um fracasso do setor nas pesquisas.2Pesquisas nacionais rigorosas - destinadas a medir o voto popular em vez de capturar os efeitos do Colégio Eleitoral - foram bastante precisas para os padrões históricos. Uma média das últimas pesquisas nacionais divulgadas publicamente sugeriu que Hillary Clinton venceria a geralvoto popularpor 3 pontos percentuais e ela finalmente venceu por 2 pontos.

E embora tenha havido perdas reais entre as pesquisas em nível estadual, um abrangente post-mortem da Associação Americana para Pesquisa de Opinião Pública (AAPOR) concluiu que a maioria dos problemas pode ser corrigida.

Frente e central entre esses problemas está o fato de que muitas pesquisas estaduais não ajustaram suas pesquisas de 2016 para refletir que os graduados universitários são mais propensos a responder às pesquisas do que os adultos com menos educação formal. Isso importou mais do que nos anos anteriores, quando não havia grandes diferenças partidárias entre os dois grupos. Em 2016, no entanto, graduados universitários faliram para Clinton, enquanto os formados do ensino médio faltaram para Trump. As pesquisas estaduais que não ajustaram - ou ponderaram - seus dados por educação ficaram com uma amostra enviesada.

Uma segunda questão foi que alguns estados que se revelaram a chave para a vitória de Trump tiveram poucas, se houver, pesquisas públicas no campo nos últimos dias antes da eleição. Todas as evidências sugerem que mais eleitores indecisos optaram por Trump do que por Clinton nos últimos dias, uma tendência que a maioria das pesquisas estaduais não foi capaz de detectar, pois já haviam parado de entrevistar.

No próximo grande ciclo eleitoral, o meio do mandato de 2018, as pesquisas mediram com precisão o tamanho da onda democrata nacionalmente e se saíram um pouco melhor do que a média histórica das pesquisas em disputas pelo Senado dos EUA.3

Alguns erros de destaque foram memoráveis, principalmente na Flórida, onde as pesquisas superestimaram as chances dos candidatos democratas de vencer as disputas para governador e para o Senado dos EUA. Mas ambos foram decididos por pequenas margens. Enquanto isso, os erros de votação nas corridas nas casas dos EUA foram os esperados.

Olhando para 2020, os viciados em eleições podem esperar ver algumas pesquisas de alta qualidade feitas em nível nacional e em muitos estados. Mas não se engane: as pesquisas de alta qualidade em nível estadual nos EUA continuam esparsas e com poucos recursos. De forma um tanto alarmante, várias pesquisas estaduais continuam a ignorar a super-representação de graduados universitários (que por acaso têm tendência aos democratas) em suas pesquisas, correndo o risco de repetir os erros de 2016.

Como a mudança tecnológica afetou as pesquisas?

Estamos em um período de grande variedade de métodos de levantamento. Com isso, vêm inovação, risco, criatividade e desafios.

A indústria de pesquisas foi fundada usando correio e entrevistas cara a cara antes de se adaptar ao aumento da conectividade telefônica. Está em meio a outra metamorfose, mudando mais uma vez para atender à disseminação do acesso à internet. Isso significa que estamos em um período de grande variedade de métodos de levantamento. Com isso, vêm inovação, risco, criatividade e desafios.

Embora as evidências sugiram que pesquisas bem financiadas por telefone ainda funcionam, elas se tornaram muito mais difíceis e caras de conduzir. Difícil porque o enxame de chamadas automáticas que os americanos agora recebem, junto com o desenvolvimento de tecnologias de bloqueio de chamadas, significa que muitas pessoas não atendem chamadas de números desconhecidos. As taxas de resposta passaram de 36% em 1997 para 6% hoje.

A boa notícia é que os estudos do Pew Research Center conduzidos em 1997, 2003, 2012 e 2016 encontraram pouca relação entre as taxas de resposta e a precisão da pesquisa, e outros pesquisadores encontraram resultados semelhantes. A má notícia é que é impossível prever se isso permanecerá verdadeiro se as taxas de resposta caírem para 4%, 2% ou 1%, e não há sinal de que essa tendência vai mudar conforme os hábitos de tecnologia das pessoas continuam a evoluir.

Enquanto isso, os custos das pesquisas por telefone aumentaram acentuadamente, em grande parte impulsionados pelo desafio de fazer os entrevistados falarem ao telefone. Isso limita o número de organizações capazes de subscrever uma pesquisa telefônica rigorosa. E a despesa com pesquisas por telefone é especialmente destacada quando comparada com o baixo custo da última modalidade de pesquisa no quarteirão.

Se as pesquisas por telefone estão perdendo o domínio, o que está preenchendo o vazio?

Em suma, a internet.

À medida que o acesso digital se tornou a norma, os pesquisadores começaram a procurar uma maneira de alcançar os entrevistados online. Esse método tem várias vantagens. As pessoas podem responder à pesquisa em particular e conforme sua conveniência, os pesquisadores não precisam contratar e gerenciar salas cheias de entrevistadores ao vivo ou pagar contas de telefone, e os metodologistas de pesquisa descobriram que há vantagens de medição na autoadministração. As pesquisas de mercado migraram em massa para a web, e os acadêmicos foram atraídos para a combinação de custos baixos e facilidade de experimentação.

Existe, no entanto, um desafio significativo. Embora existam maneiras de extrair amostras aleatórias da população dos EUAdesligadausando listas mestras de endereços residenciais ou números de telefone de pessoas (graças ao Serviço Postal dos EUA e à Comissão Federal de Comunicações, respectivamente), ainda não há uma maneira de fazer isso pela internet.

Por um lado, cerca de 10% dos americanos ainda permanecem offline, e esses 10% são muito diferentes dos outros 90%. Mas mesmo para os que estão online, não existe uma lista ou uma maneira uniforme de encontrá-los. Mesmo se cada adulto nos EUA tivesse um e apenas um endereço de e-mail (o que está longe de ser o caso), não existe uma lista universal de todos esses endereços dos quais tirar uma amostra.

Isso é importante porque a pesquisa tradicional é agressivamente baseada na teoria estatística da amostra aleatória, em que cada membro da população tem uma chance idêntica (ou pelo menos conhecida e diferente de zero) de ser incluído. Isso produz pesquisas que refletem o país em toda a sua diversidade racial, étnica, religiosa e de renda. Baixas taxas de resposta podem prejudicar a aleatoriedade da amostra, mas há evidências de que iniciar o processo de votação com um verdadeiro corte transversal do público ajuda na precisão.

O desafio das pesquisas online (baseadas em probabilidade e opt-in)

A ascensão da web como uma plataforma de pesquisa de pesquisa impulsionou uma onda massiva de inovação no design e amostragem de pesquisas. Essa energia criativa normalmente adota uma de duas abordagens amplas para o problema de como derivar amostras representativas de um pool não representativo.

Uma abordagem é recrutar os participantes da pesquisa a partir de um quadro inclusivo e baseado em probabilidade (como por telefone ou correio) para participar de pesquisas online ao longo do tempo. Como esse tipo de recrutamento pode ser caro e demorado, a maioria dos pesquisadores neste espaço está agrupando esses participantes da pesquisa, o que significa que eles os agrupam em um grupo representativo que pode responder a várias pesquisas sobre vários tópicos durante um longo período de tempo.

Freqüentemente referido como 'painéis online baseados em probabilidade', esta abordagem combina as propriedades estatísticas que fundamentam a amostragem de pesquisa (por exemplo, a capacidade de calcular uma margem de erro) com as vantagens (eficiência, qualidade, conveniência, formato) de uma pesquisa online plataforma de pesquisa. Alguns dos mais conhecidos painéis online baseados em probabilidade incluem o Ipsos KnowledgePanel, o painel NORC AmeriSpeak, o USC-Dornsife Understanding America Study e o RAND American Life Panel.

O Painel de Tendências Americanas (ATP) do Pew Research Center também é um painel online baseado em probabilidade. Selecionamos uma amostra aleatória do público e os contatamos por meio do correio tradicional em seus endereços residenciais. Os selecionados são convidados a responder pesquisas on-line, e os que não possuem acesso à internet recebem tablets e planos de dados para facilitar sua participação. (Você pode ler sobre os detalhes dessa abordagem em nosso relatório sobre a construção do ATP aqui.) Cada vez mais, devido aos desafios enfrentados pelas pesquisas por telefone, estamos transferindo nossas pesquisas baseadas nos EUA para este painel de probabilidade online.

Nem todos os painéis online baseados em probabilidade são iguais. As principais variações incluem esforços extras para recrutar e reter populações difíceis de alcançar (não usuários da Internet e não falantes de inglês sendo dois grupos proeminentes), com que frequência os painelistas são convidados a participar de pesquisas e o tamanho e longevidade dos próprios painéis . Estudos comparando os resultados da pesquisa com parâmetros conhecidos sugerem que essa abordagem para pesquisas online geralmente fornece resultados sólidos, embora essas questões de design sejam importantes.4Ainda assim, os custos iniciais de criação desses painéis e o tempo de resposta lento que eles exigem em cada pesquisa significam que eles não são perfeitos para todos os fins.

Outro grande segmento do mundo das pesquisas online voltou-se para as chamadas pesquisas 'opt-in'. Essa designação cobre uma ampla gama de produtos, desde grandes bancos de dados de consumidores até sofisticadas amostras de cotas que usam ajustes estatísticos para refletir melhor a população nacional. Neste trabalho, os respondentes não são selecionados aleatoriamente, mas encontrados onde quer que estejam: recrutados por meio de anúncios em sites, participações em programas de fidelização de clientes ou apenas porque se inscreveram para participar de um painel de pesquisa. Esse tipo de pesquisa às vezes é chamado de pesquisa de não probabilidade porque não usa um desenho de amostragem aleatória ou probabilística e, portanto, não começa com uma amostra representativa de todo o público. Algumas das pesquisas opt-in online mais comumente citadas vêm do YouGov, SurveyMonkey, The Harris Poll, Morning Consult e Lucid.

A vantagem das pesquisas opt-in geralmente é o custo. O laborioso processo de recrutamento de uma amostra aleatória é substituído por voluntários coletados em uma ampla gama de fontes. A desvantagem é que esses questionários auto-selecionados não são uma seção transversal natural da nação. As pesquisas opt-in não apenas podem obter uma amostra tendenciosa da população, mas na era digital de hoje também podem incluir inadvertidamente entradas de fora da população que desejam estudar (como de outros países, de crianças, até mesmo de bots). O desafio para os pesquisadores opt-in, então, passa a ser tanto a triagem quanto o rebalanceamento dessas amostras para espelhar um corte transversal da nação.

As enquetes opt-in online funcionam?

Essas pesquisas on-line opt-in incluem diferentes tipos de pessoas em números grandes o suficiente para permitir que representem a América?5A resposta rápida é que algumas dessas pesquisas estão construindo históricos decentes com base em ajustes estatísticos cuidadosos, enquanto outras não. Este setor de votação é muito variado para ser pintado com o mesmo pincel.

Talvez o maior desafio seja que a maioria das pesquisas opt-in online são produtos comerciais, o que significa que seus métodos são proprietários e fechados ao escrutínio público. Isso torna difícil avaliar e comparar os métodos que diferentes organizações usam para selecionar suas amostras e calibrar seus resultados.

O que está claro é que as pesquisas opt-in online não são iguais quando se trata de qualidade de dados.6Um estudo do Pew Research Center sugere que as pesquisas opt-in online variam amplamente em precisão. No geral, as pesquisas opt-in estavam erradas em cerca de 6 a 10 pontos percentuais em comparação com referências nacionais de pesquisas federais rigorosas. Mas essa taxa de erro foi substancialmente mais alta quando examinamos subgrupos mais difíceis de pesquisar, como aqueles com menos de 30 anos e adultos hispânicos. Outras equipes de pesquisa documentaram que os erros tendem a ser maiores nas pesquisas opt-in. Uma conclusão é que mesmo quando os pesquisadores opt-in podem reequilibrar seus resultados para corresponder à população em geral, eles ainda lutam para fornecer uma representação precisa dos subgrupos - uma nota de cautela para os leitores da pesquisa que gostam de olhar além da 'linha superior'.

Como você pode diferenciar uma enquete 'boa' de uma 'ruim'?

A longevidade das pesquisas por telefone deu aos estudiosos tempo para estudá-las e estabelecer padrões básicos e melhores práticas. Por esse motivo, é uma tarefa bastante simples separar pesquisas telefônicas mais rigorosas do resto. Em geral, pesquisas rigorosas são aquelas pagas e realizadas por uma fonte neutra; selecionou uma amostra aleatória baseada em probabilidade do público (ou da população de interesse, como eleitores registrados); telefones celulares, além de telefones fixos; faça várias tentativas para alcançar as pessoas; usar entrevistadores ao vivo; e tornar público o questionário e uma metodologia detalhada.

Por outro lado, a criação de uma lista de verificação de qualidade para enquetes opt-in online continua a ser um desafio e um trabalho em andamento.7Algumas considerações são as mesmas das pesquisas por telefone, pois também devem ser financiadas e conduzidas por fonte neutra e transparente com seus questionários e metodologias. Além desses princípios básicos, a avaliação da qualidade de uma pesquisa eleitoral opt-in deve considerar as seguintes questões: A amostra inclui todos os tipos de americanos? Isso os inclui aproximadamente na proporção certa em comparação com sua parcela da população? Se não, como os pesquisadores estão trabalhando no back-end para resolver esses problemas?8

O Centro já está há vários anos em um esforço sustentado para avaliar essas pesquisas, e várias descobertas importantes surgiram. As pesquisas online opt-in não são monolíticas - alguns fornecedores produzem dados mais precisos do que outros. O que separa os melhores fornecedores é que eles ajustam suas pesquisas para serem representativos em um grande conjunto de variáveis ​​que incluem dados demográficos (por exemplo, raça, idade, sexo e, de acordo com as lições de 2016, educação) e variáveis ​​políticas (por exemplo, filiação partidária, status de registro eleitoral). Fornecedores menos precisos tendem a não ponderar seus dados ou a ajustar apenas para alguns dados demográficos. Ao avaliar essas pesquisas, procure evidências de que o pesquisador refletiu cuidadosamente sobre esses tipos de problemas e tomou medidas para corrigi-los.

Quando se trata de votações on-line, tamanhos enormes de amostra não são necessariamente um sinal de qualidade.

Talvez surpreendentemente, a pesquisa do Centro descobriu que ter uma amostra que parecia demograficamente representativa do país (por meio do uso de cotas ou ponderação) não previa a precisão. Em outras palavras, apenas fazer com que a pesquisa pareça representativa em relação à idade, sexo, etc. não significa que as estimativas da pesquisa para outros resultados sejam precisas. Nesse estágio de desenvolvimento, as pesquisas opt-in exigem um esforço muito atencioso e prático para aqueles que estão respondendo à pesquisa, exigindo que considerem o que estão tentando medir e como as características da amostra podem interagir com esses conceitos. Como resultado, os consumidores dessas pesquisas também devem estar particularmente atentos a essas questões.

Uma última 'falsa bandeira' a ser ignorada: quando se trata de pesquisas on-line, tamanhos enormes de amostra não são necessariamente um sinal de qualidade. Dado que as pesquisas opt-in são tão baratas de campo, não é difícil aumentar o tamanho da amostra para fornecer a ilusão de precisão. Mas a pesquisa do Center sugere que uma pesquisa de aceitação de 8.000 pessoas não é necessariamente mais precisa do que uma pesquisa de 2.000 pessoas.

O resultado final por enquanto é que, pelo menos em nossas próprias explorações, 'mesmo os procedimentos de ajuste mais eficazes foram incapazes de remover a maior parte do viés'9de pesquisas opt-in. Dito isso, o nível de precisão que esses painéis opt-in podem fornecer pode ser adequado para alguns fins de pesquisa.

O que isso significa para a votação de 'corrida de cavalos'?

Quando os tipos políticos falam sobre 'pesquisas de corrida de cavalos' ou 'jornalismo de corrida de cavalos', eles estão se referindo à medição ou cobertura de qual candidato está liderando uma campanha. Esse desejo humano básico de saber quem está à frente não é nada novo, é claro, e é anterior à invenção da votação. Mas a existência de pesquisas criou um debate sólido e contínuo sobre quanto tempo e esforço os repórteres e pesquisadores devem dedicar à corrida de cavalos e quais são as consequências, se houver, para a forma como o público se engaja e entende a política.10

Em 2016, o Pew Research Center renovou seu compromisso de cobrir as eleições nacionais dos EUA, mas mudou sua estratégia para diminuir o rastreamento e relatar os altos e baixos da corrida de cavalos. Isso não significa que nunca perguntaremos aos americanos quem eles preferem na disputa pela presidência. Compreender a forma das coalizões partidárias, bem como seus valores e prioridades diferentes, requer perguntar aos americanos quem eles pensam apoiar em novembro de 2020. Mas o ritmo e a ênfase do nosso trabalho estão nos levando a colocar a maior parte de nossa energia em outro lugar.

Os agregadores são melhores do que pesquisas simples?

As últimas décadas viram o aumento da popularidade do agregador de pesquisas. Esses sites de notícias baseiam-se na premissa de que mais dados são melhores do que menos dados. Eles reúnem todas as pesquisas que estão sendo divulgadas publicamente para corridas nacionais e estaduais e fornecem uma média móvel da corrida de cavalos.

Não estamos no negócio de agregar enquetes ou servir como doadores frequentes de dados de corridas de cavalos. Mas, como pesquisadores públicos, frequentemente somos questionados sobre como usar e entender os agregadores. Nosso melhor conselho é o seguinte: Definitivamente, há algo útil em examinar uma variedade de dados. Como cientistas sociais, gostamos de procurar padrões nos dados e de examinar várias pesquisas para ver se eles estão dizendo a mesma coisa. Os agregadores ajudam as pessoas a fazer isso.

Como cientistas sociais, gostamos de procurar padrões nos dados e de examinar várias pesquisas para ver se eles estão dizendo a mesma coisa.

Dito isso, a desvantagem é que pode ser desafiador saber se todos os ingredientes em um ensopado de sondagens são igualmente nutritivos. Isso é particularmente verdadeiro quando as barreiras à entrada no campo de votação são mais baixas do que nunca. Também exige que os leitores fiquem de olho na população dos americanos representados, incluindo se eles são eleitores registrados ou o subgrupo geralmente mais conservador de pessoas consideradas mais propensas a votar (e, mesmo aqui, as pesquisas variam em como eles definem 'prováveis ​​eleitores').onze

Os agregadores de pesquisa fornecem um serviço para reunir a amplitude dos dados, mas recomendamos que os leitores não considerem a destilação geral em um único número como evangelho. Os melhores agregadores fornecem ferramentas para interagir com os dados mais de perto, para rastrear pesquisas individuais ou diferentes tipos de pesquisas separadamente e para compreender quanto do movimento é sinal e quanto pode ser apenas ruído.

E quanto às previsões eleitorais e modelos probabilísticos?

Alguns analistas usam dados de fontes múltiplas (dados de pesquisa agregados, dados de eleições anteriores, dados econômicos e mais) para desenvolver previsões de resultados eleitorais antes da votação real. Essas previsões geralmente são comunicadas em termos probabilísticos (por exemplo, o Candidato X tem uma chance em sete de vitória).

Uma vez que a modelagem e a previsão eleitoral tratam fundamentalmente de avaliar o estado da corrida de cavalos, as divergências sobre como esses tipos de previsões devem ser cobertos nas notícias são um componente do debate mais amplo em torno da cobertura das corridas de cavalos. Além disso, há um debate sobre até que ponto o público entende o que esses modelos estão transmitindo.

A pesquisa exploratória sugere que a comunicação probabilística pode levar as pessoas a subestimar a proximidade de uma corrida (por exemplo, 'Trump tem 60% de probabilidade de ser reeleito' pode ser erroneamente lido como '60% dos eleitores apoiam Trump ') e pode ter o potencial de menor participação. Como o comitê ad hoc da AAPOR recomendou pós-2016, 'mais cautela e humildade estão em ordem' em 2020. Tal como acontece com os números agregados das pesquisas, esses modelos de previsão podem servir como um 'dedo no vento' viável sobre a direção que a sorte está soprando mas a maneira como eles se comunicam (por exemplo, oferecendo probabilidades até casas decimais) provavelmente superestima o nível de precisão que podem realmente oferecer.

Fique ligado

O ciclo eleitoral de 2020 chega em um momento interessante para a indústria de pesquisas, à medida que os pesquisadores trabalham para adaptar suas metodologias para se adequar ao momento tecnológico e cultural, mesmo que o apetite por pesquisas pareça tão infindável como sempre.

Aqui no Pew Research Center, continuaremos definindo pelo menos duas linhas relevantes de pesquisa metodológica. Na frente dos métodos, estamos avançando com nosso trabalho para compreender os pontos fortes e as limitações desses novos candidatos à atenção, as pesquisas on-line opt-in. Também estamos trabalhando para entender e refinar o painel de probabilidade online que agora inclui grande parte de nosso trabalho doméstico.

Na frente do conteúdo tópico, estamos focados em compreender as correntes mais profundas da política em uma nação em mudança, continuando a medir o abismo partidário da América, monitorando a confiança do público no funcionamento da democracia e avaliando as opiniões sobre o papel da América no mundo, entre outros assuntos.

Agradecimentos

Este relatório foi possibilitado pelo The Pew Charitable Trusts. O Pew Research Center é uma subsidiária da The Pew Charitable Trusts, seu principal financiador.

Este relatório é um esforço colaborativo com base nas contribuições e análises das seguintes pessoas:

Time de pesquisa

Claudia Deane,Vice-presidente de pesquisa
Courtney Kennedy,Diretor, Pesquisa de Pesquisa
Scott Keeter,Consultor de pesquisa sênior
Arnold Lau,Analista de pesquisa
Nick Hatley,Analista de pesquisa
Andrew Mercer,Senior Pesquisa Metodologista

Comunicações e editoriais

Rachel Weisel,Gerente Sênior de Comunicações
Hannah Klein,gerente de comunicações
Calvin Jordan,Associado de Comunicações
Andrew Grant,Associado de Comunicações
Travis Mitchell,Editor de cópia

Design gráfico e publicação na web

Bill Webster,Designer Gráfico de Informação
Travis Mitchell,Produtor Digital

Facebook   twitter