• Principal
  • Notícia
  • O que significa nossa transição para pesquisas on-line por décadas de tendências de pesquisas por telefone

O que significa nossa transição para pesquisas on-line por décadas de tendências de pesquisas por telefone

Dos anos 1980 até recentemente, a maioria das organizações nacionais de pesquisa conduziu pesquisas por telefone, contando com entrevistadores ao vivo para ligar para americanos selecionados aleatoriamente em todo o país. Depois veio a internet.

Levou algum tempo para os pesquisadores se adaptarem à ideia das pesquisas online, mas uma rápida olhada nas pesquisas públicas sobre uma questão como a aprovação presidencial revela um cenário agora dominado por pesquisas online em vez de por telefone. O próprio Pew Research Center agora conduz a maioria de suas pesquisas on-line nos EUA, principalmente por meio de seu Painel de Tendências Americanas.

O fato de muitas pesquisas de opinião pública hoje serem conduzidas online não é segredo para os ávidos observadores de pesquisas. O que énãobem conhecido, no entanto, é o que essa migração para as pesquisas online significa para o tesouro de dados do país que documenta a opinião pública americana nas últimas quatro décadas, em questões que vão desde o aborto e imigração até relações raciais e intervenções militares. Especificamente, os pesquisadores podem apenas adicionar novos resultados online a uma longa cadeia de resultados de pesquisas por telefone, ou esta é uma situação de maçãs com laranjas que nos obriga a jogar fora os dados históricos e começar de novo?

A questão central é a comparabilidade, uma vez que a pesquisa nos diz que as pessoas às vezes respondem às pesquisas online e por telefone de maneira diferente. Quando uma pessoa real, na forma de um entrevistador, está envolvida em fazer perguntas, é mais provável que as pessoas respondam de uma forma que as pinte de uma forma positiva ou evite uma interação desconfortável. Essa dinâmica social é removida quando as pessoas estão respondendo a pesquisas em seus laptops ou smartphones, sem um entrevistador. A diferença nas estimativas decorrentes do método de entrevista é conhecida como efeito modal.

A questão principal então é: Se uma nova estimativa de pesquisa online difere visivelmente de uma estimativa de telefone mais antiga, isso sinaliza uma mudança real na opinião pública ou a diferença é apenas um artefato do modo diferente em que a pesquisa foi conduzida?

Mudar de modo pode quebrar uma tendênciaConsidere um exemplo real. Entre 2009 e 2014, as pesquisas por telefone do Centro descobriram que a proporção de americanos dizendo que havia muita discriminação contra gays e lésbicas tendia a pairar pouco menos de dois terços. Então, em 2014, o Centro respondeu à mesma pergunta online e descobriu que apenas 48% dos americanos expressaram a mesma opinião.



Isso sinalizou um grande declínio na discriminação percebida contra gays e lésbicas? Não, ele refletiu um efeito de modo. Os pesquisadores sabem disso porque a enquete online foi parte de um experimento em que uma metade aleatória dos adultos foi contatada para responder à pesquisa online e a outra metade foi entrevistada por telefone. A estimativa de telefone do experimento (62%) foi semelhante às estimativas de pesquisa de telefone anteriores. O experimento revelou que os adultos são significativamente mais propensos a dizer que gays e lésbicas enfrentam muita discriminação quando estão falando com um entrevistador do que quando gravam suas respostas online em particular. Isso levanta várias questões adicionais importantes que responderemos a seguir.

Todas as perguntas da sondagem são suscetíveis aos efeitos de modo?

Não. Pesquisas descobriram que o método de entrevista afeta algumas perguntas, mas não outras. Por exemplo, em um experimento de modo aleatório do Pew Research Center em 2017, as opiniões sobre a lei de saúde de 2010 aprovada por Barack Obama e o Congresso não mostraram nenhuma diferença de modo. A lei obteve 48% de aprovação tanto online quanto por telefone. O índice de aprovação presidencial de Donald Trump também foi semelhante online (44%) e por telefone (42%). Outras questões nesse estudo, no entanto, mostraram diferenças de modo. Quando questionados sobre sua situação financeira pessoal, 20% dos entrevistados online admitiram estar em má situação financeira, em comparação com apenas 14% dos entrevistados por telefone.

Há uma grande quantidade de pesquisas sobre esse tópico e isso mostra que os efeitos de modo são mais prováveis ​​de ocorrer em alguns cenários. Se a pergunta for sobre um tópico delicado ou potencialmente embaraçoso, as pesquisas autoadministradas feitas online tendem a render dados menos inclinados para a resposta que os entrevistados veem como socialmente desejável do que as pesquisas administradas por entrevistadores. Se a pergunta apresentar uma escala de classificação, os respondentes da pesquisa por telefone têm mais probabilidade do que os respondentes da pesquisa online de selecionar respostas extremamente positivas, mas não têm maior probabilidade de dar respostas extremamente negativas.

As pesquisas online, em relação às pesquisas administradas por entrevistadores, também tendem a ter níveis mais baixos de não resposta ao item (por exemplo, menos respostas 'não sei') quando uma opção explícita 'não sei' ou 'sem opinião' não é oferecida. A maioria das pesquisas do Pew Research Center não oferece opções explícitas do tipo 'não sei'. Os respondentes de pesquisas por telefone são mais propensos a oferecer o equivalente (dizendo ao entrevistador que eles não sabem a resposta ou não podem responder à pergunta) do que os entrevistados de pesquisas online (pulando a pergunta).

Como o Pew Research Center está tratando dessa diferença de modo ao relatar tendências?

A abordagem do Centro reflete o fato de que algumas perguntas apresentam alto risco de efeitos modais (por exemplo, 'Como você classificaria sua própria situação financeira pessoal'?), Enquanto outras não (por exemplo, 'Você aprova ou desaprova a lei de saúde aprovada por Barack Obama e pelo Congresso em 2010 '?). Nossa política não é válida para todos. Em vez disso, ele usa as informações disponíveis para tentar determinar qual dos três tratamentos gerais a seguir é o mais apropriado:

Quebre a tendência.

Em alguns casos, há evidências convincentes de que a pesquisa online mediu a atitude com menos erros (por exemplo, menos viés de desejabilidade social) do que a pesquisa por telefone. Quando isso acontece, a re-apresentação dos números de tendências históricas sem dúvida faria mais mal do que bem, levando a confusão ou relatórios errados. 'Quebrar a tendência' pode quebrar o coração de um pesquisador, mas, nesses casos, o Centro descartará os dados dos anos anteriores e apresentará apenas as novas estimativas online.

A evidência convincente de que uma tendência foi quebrada vem na forma de dados experimentais, como os experimentos de modo aleatório do Centro de 2014 e 2017, ou reconhecimento de que uma questão de tendência tem características mostradas na literatura de pesquisa para aumentar a probabilidade de um efeito de modo.

Relate a nova estimativa online como parte de uma tendência de telefonia pré-existente, mas chame a atenção dos leitores para a mudança no modo.

Em outros casos, a informação disponível sugere que a linha de tendência ainda é válida e informativa no contexto da nova estimativa. Ainda assim, o leitor deve ser alertado de que a pesquisa passou de uma votação por telefone para uma votação online.

Exemplo de tendência com uma linha pontilhada rotuladaUm exemplo disso pode ser encontrado em um relatório do Centro de 2017 sobre atitudes em relação à mídia de notícias. Os pesquisadores atualizaram uma tendência telefônica de quase 30 anos com novas estimativas de uma pesquisa online. No gráfico, eles usaram uma linha pontilhada e rotulada, bem como uma nota de rodapé, para sinalizar a mudança de modo. Além disso, a linguagem no corpo do relatório alertou o leitor para a mudança: 'Deve-se notar que antes de 2016, a pergunta era feita por telefone e não pela web, o que pode suscitar padrões de resposta ligeiramente diferentes'. Essa abordagem, que enfatiza a sinalização clara de uma mudança de modo, é talvez mais apropriada nos vários anos imediatamente após uma mudança de modo, quando o padrão de estimativas online ainda está aparecendo. Durante os próximos anos, o Centro continuará a enfrentar essas questões de tendência e, durante esse tempo, essa abordagem intermediária de chamar claramente uma mudança de modo será o estilo de relatório padrão.

Relate a nova estimativa online como parte de uma tendência de telefonia pré-existente sem grande ênfase.

Posteriormente, após vários anos de medições on-line estabelecidas para uma tendência, um estilo de relatório mais sutil pode ser apropriado. Por exemplo, se o longo arco de tendência em uma questão confirmar que uma mudança de modo teve pouco ou nenhum efeito, então pode ser razoável mover a linguagem sobre a mudança de modo do corpo dos gráficos e texto do relatório para notas de rodapé. Se, no entanto, os dados sugerirem que o modo teve um efeito significativo nas estimativas, seria aconselhável manter a sinalização clara nos gráficos e no texto do relatório.

O método de entrevista é a única fonte de diferenças entre as estimativas de telefone mais antigas e as estimativas online mais recentes?

Não necessariamente. Se uma estimativa de telefone mais antiga difere de uma estimativa online mais recente usando exatamente o mesmo texto da pergunta, pelo menos quatro fatores podem estar contribuindo para a diferença. Esses são:

Mudança real ao longo do tempo

Idealmente, a diferença pode ser atribuída à mudança real na população, e não a um artefato de como a pesquisa foi conduzida.

Diferenças de medição

Conforme discutido acima, a dinâmica da entrevista é diferente para a votação online versus a votação ao vivo por telefone. A ausência de um entrevistador em pesquisas online tende a gerar mais relatos de atitudes sensíveis, provocativas ou extremamente negativas e tende a resultar em níveis mais baixos de não resposta ao item, a menos que uma opção 'não sei' ou 'não tenho certeza' seja explicitamente oferecido. O modo também afeta como as pessoas processam cognitivamente as opções de resposta. Ao fazer uma pesquisa na web, é natural que as pessoas dêem preferência à primeira escolha que leem (um 'efeito de primazia') se não tiverem uma opinião firme. No telefone, é natural que as pessoas dêem preferência à última escolha que o entrevistador leu para elas (um 'efeito recência'), já que essa opção é a mais fácil de lembrar.

As pesquisas por telefone e online também tendem a diferir emCom que frequênciaas pessoas são entrevistadas. As pesquisas por telefone são geralmente pesquisas pontuais nas quais uma nova amostra do público é entrevistada cada vez que uma pesquisa é realizada. Os painéis de pesquisa online, por outro lado, recrutam uma amostra do público para fazer pesquisas continuamente (por exemplo, uma vez por mês). Quando o mesmo grupo de pessoas é entrevistado várias vezes, é possível que as medições repetidas tenham um efeito (por exemplo, tornando o tópico da pesquisa mais saliente para os painelistas). Embora esse 'condicionamento' dos entrevistados da pesquisa não pareça ser uma grande ameaça em painéis que questionam sobre muitos tópicos diferentes - como o Painel de Tendências Americanas - os pesquisadores precisam permanecer vigilantes sobre esse risco.

Diferenças de ponderação

O protocolo de ponderação para pesquisas por telefone e online do Pew Research Center é semelhante, mas há algumas diferenças. As pesquisas por telefone e online do Centro usam um processo chamado raking para garantir que os dados ponderados sejam nacionalmente representativos em relação às principais características demográficas, como idade, raça, origem hispânica, etnia, região, sexo e educação. As pesquisas do Centro realizadas online com o American Trends Panel apresentam alguns ajustes adicionais, no entanto. Por exemplo, as pesquisas on-line também são direcionadas a alvos populacionais de voluntariado e acesso à Internet para abordar o fato de que adultos menos engajados cívicamente ou que não usam a Internet tendem a ser sub-representados nos painéis on-line.

Diferenças de composição da amostra

Embora as pesquisas por telefone e online do Pew Research Center sejam recrutadas offline para serem nacionalmente representativas usando amostragem aleatória, o perfil das pessoas entrevistadas em cada método pode diferir um pouco. As pesquisas por telefone do Centro extraem amostras aleatórias de números de telefones fixos e celulares usando um processo chamado discagem de dígitos aleatórios. O American Trends Panel online do Centro, por outro lado, agora é recrutado usando amostras aleatórias de endereços postais residenciais. Além disso, alguns subgrupos têm maior probabilidade de participar de pesquisas por telefone do que online. Por exemplo, as amostras de pesquisas por telefone geralmente ficam mais velhas, enquanto as amostras de pesquisas online às vezes parecem mais jovens. Os procedimentos de ponderação mencionados acima são usados ​​para tentar abordar esses padrões, mas podem persistir algumas diferenças atribuíveis ao perfil de quem respondeu à pesquisa.

Quando ocorre diferença de modo, eles podem refletir uma combinação de vários desses fatores.

Alguém pode responder às pesquisas do Pew Research Center, agora que elas são conduzidas online?

Não. Embora algumas pesquisas online permitam que qualquer pessoa participe, o Centro continua a usar amostragem científica baseada em probabilidade. A amostragem científica controlada garante que as pessoas não possam participar, a menos que sejam convidadas a fazê-lo. O recrutamento do Centro para as suas pesquisas ocorre offline (ou seja, sem usar a Internet) por meio do correio por dois motivos principais. Em primeiro lugar, uma parte considerável do público não tem acesso à Internet. Em segundo lugar, não existe uma lista abrangente de endereços de e-mail para todos os adultos queFaztêm acesso à internet. Isso significa que atualmente não há como selecionar amostras de pesquisas online de uma forma que abranja toda a população. O recrutamento offline significa que o acesso à Internet - na forma de um tablet e plano de dados - pode ser fornecido para aqueles que ainda não o têm, garantindo que todos os americanos tenham alguma chance de serem entrevistados nesta nova era das pesquisas online.

A indústria de pesquisas já passou por uma grande mudança de modo antes?

Sim. Nas décadas de 1970 e 1980, muitos pesquisadores nacionais fizeram a transição das entrevistas pessoais (nas quais os entrevistadores batiam em portas em todo o país) para as entrevistas ao vivo por telefone. Muitas das mesmas perguntas e preocupações que a indústria enfrenta agora existiam naquela época.

A transição da Central sinaliza que há um problema com a votação por telefone?

O crescente uso do Painel de Tendências Americanas online pelo Centro e seu afastamento das pesquisas por telefone é, em parte, uma reação aos desafios associados às pesquisas por telefone. Dito isso, as pesquisas por telefone ainda podem ter um bom desempenho, como mostrado na eleição de meio de mandato de 2018. As pesquisas pré-eleitorais em 2018 - incluindo aquelas conduzidas por telefone com entrevistadores ao vivo - foram mais precisas, em média, do que as pesquisas de meio de mandato desde 1998.

O Pew Research Center terminou completamente de fazer as pesquisas por telefone nos EUA?

Não. Embora a maioria das pesquisas internas do Centro agora seja feita online, algumas pesquisas por telefone continuam. Em alguns casos, é possível conduzir uma pesquisa por telefone ao mesmo tempo que uma pesquisa online para obter algumas informações sobre o tamanho do efeito de modo em uma tendência de longa data. O telefone também continua sendo uma boa opção para estudos de certas populações especiais.

À medida que a pesquisa de pesquisa segue seu caminho através da segunda grande mudança de modo de sua existência relativamente curta, o Pew Research Center está comprometido em experimentar, avaliar e relatar o desempenho de pesquisas online.

Relacionado:

Relatório principal: Crescendo e melhorando o Painel de Tendências Americanas do Pew Research Center

P&R: Por que e como expandimos nosso Painel de Tendências Americanas para desempenhar um papel maior em nossas pesquisas nos EUA

As taxas de resposta em pesquisas por telefone voltaram a cair

Facebook   twitter