Pesquisa quando a atenção do público é limitada: diferentes questões, resultados diferentes
Quando três organizações de pesquisa diferentes conduziram pesquisas no último fim de semana para avaliar a reação do público às notícias sobre as intimações telefônicas dos repórteres pelo Departamento de Justiça, suas descobertas foram bem diferentes - um estudo de caso sobre os desafios que as pesquisas enfrentam em um ambiente de notícias de última hora quando a atenção do público e as informações são relativamente limitadas.
Embora as pesquisas do Pew Research Center, CNN / ORC e Washington Post / ABC News tenham adotado uma abordagem semelhante ao perguntar se as pessoas achavam que o Departamento de Justiça estava certo ou errado em intimar os registros telefônicos dos repórteres da Associated Press, havia várias diferenças no fraseado, estrutura e contexto das questões que ajudam a explicar as diferentes descobertas.
Comparando três perguntas
Vamos começar com a pesquisa do Pew Research Center, que encontrou mais desaprovação do que aprovação das ações do DOJ por uma margem estreita de 44% -36%. No início da pesquisa, a Pew Research perguntou até que ponto as pessoas acompanharam a notícia. Quase um terço relatou segui-lomuito próximo(16%) ourazoavelmente perto(19%), enquanto a maioria (64%) disse que tinhanão seguido muito de pertoou em tudo.
A Pew Research então perguntou se os entrevistados aprovavam ou desaprovavama decisão do Departamento de Justiça de intimar os registros telefônicos de jornalistas da AP como parte de uma investigação sobre a divulgação de informações classificadase considerou um pouco mais reprovador do que aprovador.
Em comparação, a pesquisa Washington Post / ABC News descreveu a situação da seguinte forma:A AP relatou informações confidenciais sobre os esforços antiterrorismo dos EUA e os promotores obtiveram os registros telefônicos da AP por meio de uma ordem judicial. Você acha que essa ação do Ministério Público Federal é ou não justificada?A pesquisa encontrou substancialmente mais afirmando que as ações eram justificadas, por uma margem de 52% -33%. A diferença pode ser atribuída a três diferenças na maneira como as pesquisas descreveram a situação. Primeiro, a Pew Research se referiu aodecisão de intimaçãoregistros telefônicos, enquanto a pesquisa WP / ABC disse que os registros eramobtido ... por meio de uma ordem judicial, o que pode tornar as ações mais legítimas, destacando o envolvimento de um tribunal. Em segundo lugar, o que a Pew Research descreveu comoinformação classificadaa pesquisa WP / ABC descrita comoinformações classificadas sobre os esforços antiterrorismo dos EUA; pesquisas anteriores sugerem que o público está disposto a aceitar ações governamentais mais amplas na defesa contra o terrorismo. Terceiro, a Pew Research mencionouo departamento de justiça, enquanto WP / ABC mencionouprocuradores federais. É provável que o DOJ, como uma instituição mais política associada ao governo, seja visto de forma menos favorável do que os promotores. Todas essas três diferenças provavelmente contribuem para os resultados da pesquisa notavelmente diferentes.
Uma terceira pesquisa da CNN / ORC conduzida na sexta e no sábado (as outras duas pesquisas foram em campo de quinta a domingo) também usou uma linguagem diferente. Sua linha de questionamento menciona que se tratava de informação classificadasobre os esforços anti-terrorismo dos EUA, assim como a pergunta WP / ABC. Também mencionou que era oDepartamento de Justiça, assim como a Pew Research. Mas a CNN / ORC diferiu das outras pesquisas ao dizer que os registros telefônicos eramcoletado secretamente, ao invés de apenasintimadoouobtido por meio de ordem judicial. Ao todo, esta questão encontrou mais afirmando que as ações do DOJ eram inaceitáveis do que aceitáveis por uma margem de 52% a 43%, semelhante ao equilíbrio de opinião na pesquisa Pew Research.
Existem duas outras diferenças que se destacam na pesquisa CNN / ORC. Primeiro, antes de perguntar se as ações eram aceitáveis, os entrevistados foram primeiro questionados comoimportanteo problema era, com a grande maioria dizendo que eramuito importante(53%) ouum pouco importante(34%), e poucos dizendoNão também(8%) oude modo nenhum(4%) importante. Nesse contexto, muito mais entrevistados ofereceram uma opinião quando investigados sobre a adequação das ações do DOJ - apenas 5% não opinaram na pesquisa CNN / ORC, em comparação com 15% na pesquisa WP / ABC e 20% na Pesquisa da Pew Research.
Além disso, a pesquisa CNN / ORC é a única entre essas três que encontrou uma diferença substancial de opinião em linhas partidárias: os republicanos tinham cerca de metade da probabilidade dos democratas de dizer que as ações do DOJ eram aceitáveis (30% contra 57%). Na pesquisa Pew Research, houve apenas uma ligeira diferença partidária (36% dos republicanos e 43% dos democratas aprovaram as ações do DOJ), e praticamente não houve diferença na pesquisa WP / ABC (54% dos democratas e 51% dos republicanos disseram que as ações eram justificadas).
Uma entrada posterior
No final do dia de terça-feira, a Fox News divulgou ainda uma quarta pergunta da pesquisa nas mesmas linhas, com o equilíbrio mais desigual de opinião sobre o questionamento até agora. É possível que as opiniões tenham mudado com o tempo, e a pesquisa da Fox News começou dois dias depois e terminou um dia depois das conduzidas pela Pew Research e WP / ABC. Também é importante notar que as pesquisas da Fox News são restritas aos eleitores registrados, e não ao público em geral, um grupo mais restrito que geralmente é mais republicano em suas inclinações políticas.
Mas também é provável que a linguagem e o contexto da questão sejam fatores substanciais. Onde as três primeiras pesquisas disseram que o DOJintimado,obtido por meio de ordem judicial, oucoletado secretamenteos registros telefônicos, a pergunta da Fox News usava a fraseapreendido secretamentepara descrever as ações do DOJ. A pesquisa da Fox News também apontou que os registros eramextenso, incluídotelefones de trabalho e pessoais, e que eles fizeram issosem avisar previamente a agência noticiosa, como é de praxe. Por dois para um (60% vs. 31%) mais disseram esta ação do governofoi longe demaisao invés defoi provavelmente justificado.
Um fator adicional que provavelmente afetou as respostas à pergunta da Fox News foi o contexto em que ela foi apresentada. Imediatamente antes de perguntar sobre a legitimidade das ações do DOJ, a Fox News perguntou:Parece que o governo federal saiu do controle e está ameaçando as liberdades civis básicas dos americanos, ou não é assim para você?Há um longo histórico na indústria de pesquisas de como o enquadramento de uma pergunta em um determinado contexto pode afetar as respostas, e há poucas dúvidas de que levantar essa crítica ampla ao governo - com a qual cerca de dois terços (68%) dos entrevistados concordaram - antes da pergunta DOJ teve algum efeito.
A lição?
Em um mundo ideal, entender o impacto das diferenças de formulação das perguntas nas pesquisas é simples - os respondentes são designados aleatoriamente a grupos, cada um dos quais recebe a mesma pergunta no mesmo contexto, com apenas a linguagem de interesse modificada. Mas no mundo real, raramente é tão simples. Nos exemplos acima, cada organização de pesquisa fez esforços de boa fé para descrever os fatos da situação da forma mais precisa possível, mas as escolhas de palavras e o contexto tornam impossível identificar uma frase ou conceito específico que influenciou o pensamento do público.
O fato de que a linguagem e o contexto fizeram diferença na maneira como os entrevistados reagiram às perguntas é um desafio da votação em uma situação de pouca informação. Nesse caso, as notícias do DOJ estavam se desenvolvendo rapidamente, alguns fatos ainda não eram claros (como como o departamento obteve os registros telefônicos) e o assunto era um tanto complexo. Como mostrou a pesquisa da Pew Research, a maioria dos americanos prestou pouca ou nenhuma atenção à história até o domingo - muito menos do que foi dada à cobertura noticiosa de Benghazi e do IRS. A pesquisa da Pew Research descobriu que aqueles que prestaram pelo menos uma quantidade razoável de atenção tiveram uma visão muito mais negativa das ações do Departamento de Justiça. Às vezes, as opiniões de entrevistados atentos podem ser um indicador importante da direção da opinião pública se e quando uma história crescer. Mas às vezes o padrão de respostas é mais partidário. Nesse caso, foram os republicanos mais atentos que expressaram desaprovação particular das ações do DOJ, o que pode refletir que eles estavam simplesmente mais atentos às implicações políticas do escândalo para o governo Obama.
De modo geral, embora as grandes diferenças entre as pesquisas sugiram que as reações do público podem ser apenas vagamente formadas, há informações importantes a colher em situações como essas. É provável que haja um núcleo de americanos que apóiam as ações do DOJ, independentemente da linguagem da pesquisa (os 31% que dizemjustificadomesmo na pesquisa da Fox News). E outro núcleo que se opõe concretamente (os 33% que dizemNão justificadona pesquisa WP / ABC). E, para o resto, há pistas sobre os tipos de considerações que podem afetar seus pontos de vista se e quando a atenção crescer e as informações se tornarem mais difundidas.
