• Principal
  • Notícia
  • Perguntas e respostas: pesquisas políticas e as eleições de 2016

Perguntas e respostas: pesquisas políticas e as eleições de 2016

Os eleitores votaram em um corpo de bombeiros em Alhambra, Califórnia, em 8 de novembro de 2016. (Ringo Chiu / AFP / Getty Images)

O resultado da eleição presidencial de 2016 surpreendeu muita gente - não menos importante, os muitos pesquisadores políticos e analistas que o cobriram. Hoje, a Associação Americana para Pesquisa de Opinião Pública (AAPOR), a principal organização de pesquisadores de pesquisa do país, divulgou um relatório há muito aguardado que examina as pesquisas durante as longas campanhas eleitorais primárias e gerais do ano passado.

Courtney Kennedy, diretora de pesquisas do Pew Research Center

Courtney Kennedy, diretora de pesquisas do Pew Research Center, presidiu a força-tarefa AAPOR que produziu o relatório. Recentemente, conversamos com Kennedy para discutir suas descobertas e recomendações. A conversa foi condensada e editada para maior clareza e concisão.

Desde a vitória de Donald Trump sobre Hillary Clinton no ano passado, muitas críticas têm sido feitas ao desempenho e à confiabilidade das pesquisas. Foi esse o ímpeto para este relatório?

Na verdade, esse comitê foi organizado em maio de 2016, meses antes de qualquer um de nós ter a menor ideia de que o ano passado seria um ano particularmente incomum para votação. A intenção original era bastante direta: avaliar o desempenho das pesquisas, tanto nas primárias quanto nas eleições gerais; para comparar como eles se saíram em relação aos anos anteriores; e, na medida em que os dados o apoiarem, avaliar se certos tipos de pesquisas - online versus telefone, ao vivo versus automatizada - tiveram melhor ou pior desempenho do que outros.

Mas por volta da meia-noite de 8 de novembro, ficou claro que o que o comitê precisava fazer havia mudado. Não podíamos simplesmente fazer isso muito técnico, tipo de relatório 'qual foi o desvio médio'. Precisávamos, além disso, considerar outra questão: 'Por que as pesquisas parecem subestimar sistematicamente o apoio a Donald Trump'? Já havia uma série de hipóteses flutuando - como o chamado efeito 'tímido Trump' (apoiadores de Trump sendo menos dispostos do que outros a divulgar seu apoio a um entrevistador), não resposta diferencial (apoiadores de Trump sendo menos propensos a participar em pesquisas), coisas dessa natureza - e nos sentimos obrigados a assumir essa peça adicional.

O relatório observa que, embora as pesquisas nacionais em geral tenham chegado muito perto do voto popular nacional (que Clinton ganhou por 2,1 pontos percentuais sobre Trump), o desempenho das pesquisas em nível estadual - onde as eleições presidenciais de fato são decididas - foi muito spottier. Que razões você encontrou para isso?



Encontramos evidências para múltiplas causas potenciais. Um fator que acho que afetou a todos que estavam votando nos estados do campo de batalha é a legítima mudança tardia na preferência do eleitor na última semana antes do dia da eleição. Os dados sobre isso têm suas limitações, mas a melhor fonte é a pesquisa de voto do Pool Nacional de Eleições, que traz uma pergunta sobre quando os eleitores decidiram em quem votar na corrida presidencial. Isso mostrou várias oscilações de cerca de 20 pontos a favor de Trump entre os eleitores que se decidiram na última semana. Você realmente não viu isso nacionalmente, mas na Pensilvânia, Michigan, Wisconsin e até na Flórida, você viu o que parece ser um movimento dramático.

Isso é uma espécie de descoberta de boas / más notícias para os pesquisadores. A boa notícia é que, se você entrevistou pessoas em um determinado momento e elas mudaram de ideia vários dias depois, a pesquisa não teria detectado isso. Isso não é uma falha na pesquisa, exceto talvez com o período de campo em que o pesquisador decidiu fazer a coleta de dados. Mas não há nada que esteja necessariamente errado se o que estava gerando a maior parte do erro fossem apenas mudanças de opinião honestas.

O que mais você encontrou em nível estadual?

Outra descoberta interessante teve a ver com o nível de educação dos entrevistados. Uma série de estudos mostrou que, em geral, as pessoas com níveis mais elevados de educação formal são mais propensas a responder às pesquisas - é uma descoberta muito robusta. Lugares como o Pew Research Center e outros sabem disso há anos e tratamos disso com nossa ponderação estatística - ou seja, perguntamos às pessoas qual é seu nível de educação e alinhamos nossos dados de pesquisa para que correspondam à população dos EUA em educação. E acho que muitos de nós presumimos que essa era uma prática comum na indústria - que, grosso modo, todo mundo estava fazendo isso. E não foi isso que encontramos. No nível estadual, na maioria das vezes, as pesquisas não estavam sendo ajustadas para a educação.

Agora, em algumas eleições, como em 2012, isso não importaria, porque os de baixa escolaridade e os de alto nível de escolaridade votaram quase da mesma forma. Mas 2016 foi drasticamente diferente - havia uma relação linear bastante forte entre educação e voto presidencial. E isso significava que, se você tivesse muitos formados em sua pesquisa, o que praticamente todos nós temos, e você não tivesse o peso adequado, quase certamente superestimaria o apoio a Clinton.

Houve algum fator possível para o qual você não encontrou evidências?

Sim. Considere a hipótese de que há um segmento da base de apoio do Trump que não participa das pesquisas. Se isso for verdade, isso é um grande problema para organizações como a nossa, e precisamos estudar isso e entender se quisermos consertá-lo. Mas procuramos evidências disso, e não encontramos.

Se for verdade que está faltando um segmento da base de apoio do Trump, esperaríamos encontrar - sem fazer nenhuma ponderação extravagante, apenas olhando os dados brutos - que as pessoas nas partes mais rurais e vermelhas do país estariam sub-representado. E não encontramos isso; na verdade, eles estavam ligeiramente super-representados. Fizemos várias coisas com um olhar crítico em busca desses tipos de problemas e não os encontramos. E isso me deu uma garantia real de que, fundamentalmente, não é que o processo de fazer pesquisas tenha sido quebrado no ano passado.

O que, se alguma coisa, a profissão pode fazer para resolver os problemas que o comitê encontrou nas pesquisas estaduais e locais, especialmente considerando que tantos jornais e emissoras de TV que os patrocinaram historicamente não podem mais se dar ao luxo de fazê-lo no mesmo nível?

Há muitas evidências que mostram que os recursos que as organizações de notícias têm para pesquisas parecem estar diminuindo com o tempo, e isso acarreta duas coisas, eu acho: há menos organizações de notícias fazendo pesquisas, e aquelas que o fazem - especialmente as organizações de notícias locais - são usando metodologia de baixíssimo custo. O que o relatório mostra é que há diferenças importantes de design entre as pesquisas nacionais, que tendem a ter muitos recursos, e as pesquisas estaduais, que tendem a ser feitas muito mais rapidamente, usando métodos mais automatizados e com menos recursos. As pesquisas estaduais têm metade da probabilidade de as pesquisas nacionais terem entrevistadores ao vivo, e elas têm cerca de metade da probabilidade de terem ajustado para educação em seu peso, o que sabemos ser importante. Portanto, existem essas coisas estruturais que parecem ter agravado a lacuna de desempenho entre as pesquisas estaduais e as nacionais. Sabemos que, em média, eles estão agindo de forma diferente e de maneiras que produziram um erro maior nesta eleição. Também é verdade que, com o tempo, você apenas verá que há mais erros nas pesquisas estaduais.

Então, eu poderia imaginar que uma associação profissional como a AAPOR pudesse investigar se isso poderia ser resolvido, seja por meio da educação profissional ou mesmo tentando organizar financiamento para pesquisas mais rigorosas em nível estadual, conduzidas bem perto do dia das eleições, a fim de pegar pessoas que mudar de ideia tarde. Isso obviamente seria feito por pesquisadores que usam protocolos de ponderação muito sofisticados e de última geração, para que você não tenha coisas como este acidente educacional. Não está claro se isso resolveria o problema completamente, mas pelo menos você teria uma infusão de pesquisas de alta qualidade naquele conjunto de pesquisas que, em média, são feitas de forma bastante barata.

Outra parte do ciclo eleitoral de 2016 foi a proeminência, mesmo além das próprias pesquisas individuais, das operações de análise de dados e sites de notícias que agregaram pesquisas e as usaram não apenas para prever o resultado final, mas para dar probabilidades muito precisas de que Clinton ou Trump venceria. Quão apropriado ou útil é usar enquetes como ferramentas de previsão?

As pesquisas não são projetadas para produzir precisão na ordem de 'fulano tem X, X% de chance de ganhar'. Na verdade, havia uma certa diversidade de opiniões no comitê sobre esse assunto: alguns tendiam a ser mais agressivos ao enfatizar a distinção entre os previsores e os pesquisadores; outros nem tanto.

Mas existe uma distinção. A pesquisa e o prognóstico são realmente duas empresas diferentes. Uma pesquisa de opinião pública bem feita pode dizer qual era a opinião durante o tempo em que a entrevista foi feita, mas isso realmente não fala de uma maneira precisa sobre o comportamento futuro. Já foi dito antes, mas vale a pena repetir: uma votação é um instantâneo no tempo, não uma forma de prever o que vai acontecer. Como dizemos no relatório, parece necessário mais cautela e humildade para qualquer pessoa que faça alegações sobre o resultado provável de uma eleição com base parcial ou total nos dados das pesquisas.

As pesquisas podem ser úteis para ajudar a responder a questões importantes sobre o que está motivando os eleitores, por que as pessoas votam ou não, como se sentem sobre as políticas em debate, como se sentem sobre os próprios candidatos. Todas essas perguntas são mais do que merecedoras de respostas sérias, e é para isso que as pesquisas são realmente projetadas.

Então, as pesquisas ainda podem ser confiáveis, apesar do que aconteceu no ano passado?

Eu acredito que eles podem. Em primeiro lugar, é importante ressaltar que o desempenho das pesquisas eleitorais não é um bom indicador da qualidade das pesquisas em geral. As pesquisas eleitorais diferem de outros tipos de pesquisas em alguns aspectos importantes: não apenas precisam incluir uma amostra representativa do público, mas também modelar corretamente quem dentre essa amostra vai realmente votar. Essa é uma tarefa muito difícil que as pesquisas não eleitorais simplesmente não têm.

É importante dissipar a noção de que a votação em grande escala está quebrada - nossa investigação descobriu que não é esse o caso. Ao mesmo tempo, não devemos encobrir o que aconteceu. Ocorreram erros, e a indústria de pesquisas sofreu um golpe de reputação. Mas a comunidade e os consumidores das pesquisas devem se consolar com o fato de que descobrimos um pouco sobre o que deu errado e por quê, e todos podemos aprender com esses erros. Algumas coisas estavam fora do controle dos pesquisadores, a saber, as últimas mudanças na preferência dos eleitores; outras coisas estavam sob seu controle e podem ser corrigidas. O desequilíbrio educacional, por exemplo, é muito solucionável.

Nós, como pesquisadores, devemos falar sobre toda a história das pesquisas em 2016 - as diferenças entre as pesquisas nacionais e estaduais, o fato de termos identificado os principais fatores que levaram aos erros - de forma aberta e não defensiva, para dissipar a narrativa “a votação está quebrada”. Essa narrativa presta um desserviço à nossa democracia. Porque a votação, imperfeita como é, continua a ser a melhor ferramenta disponível para medir as atitudes detodosAmericanos. E quando bem feito, ainda pode produzir dados muito úteis. Não importa qual partido está no poder, é importante ter pesquisadores independentes e objetivos medindo como o público se sente sobre as principais questões do dia.

Facebook   twitter