• Principal
  • Métodos
  • Do telefone para a web: o desafio dos efeitos do modo de entrevista nas pesquisas de opinião pública

Do telefone para a web: o desafio dos efeitos do modo de entrevista nas pesquisas de opinião pública

pm_15.05.12_modestudypromo

Entre as tendências mais marcantes no campo da pesquisa por levantamento nas últimas duas décadas está a mudança de pesquisas administradas por entrevistadores para pesquisas autoadministradas. Impulsionada pelo crescimento da Internet, a autoadministração como um modo de pesquisa apresenta uma mistura de oportunidades e desafios para o campo. Pesquisas autoadministradas tendem a ser mais baratas e a fornecer maneiras de fazer perguntas difíceis ou impossíveis de fazer em uma pesquisa administrada por entrevistador.

Mas os resultados de pesquisas autoadministradas e administradas por entrevistadores às vezes são diferentes. Essa diferença é chamada de efeito de modo, uma diferença nas respostas a uma pergunta da pesquisa atribuível ao modo em que a pergunta é administrada. Entre as questões que isso levanta estão como rastrear tendências nas respostas ao longo do tempo quando o modo de entrevista mudou e como lidar com as inconsistências ao combinar os dados coletados usando diferentes modos.

Usando seu Painel de Tendências Americano nacionalmente representativo, o Pew Research Center conduziu um experimento em grande escala que testou os efeitos do modo de entrevista de pesquisa - neste caso, uma pesquisa por telefone com um entrevistador vs. uma pesquisa auto-administrada na Web - em resulta de um conjunto de 60 perguntas como as comumente feitas pelos programas de pesquisa do centro. Este relatório descreve o esforço para catalogar e avaliar os efeitos modais em pesquisas de opinião pública.

O estudo descobriu que as diferenças nas respostas por modo de pesquisa são bastante comuns, mas normalmente não são grandes, com uma diferença média de 5,5 pontos percentuais e uma diferença média de cinco pontos nas 60 perguntas. As diferenças variam em tamanho de 0 a 18 pontos percentuais. Os resultados são baseados em 3.003 entrevistados que foram designados aleatoriamente para o modo telefone ou Web e entrevistados de 7 de julho a agosto. 4, 2014 para este estudo.

Onde ocorreram diferenças, elas foram especialmente grandes em três grandes tipos de perguntas: Os itens que pediam ao entrevistado para avaliar a qualidade de sua vida familiar e social produziram diferenças de 18 e 14 pontos percentuais, respectivamente, com os entrevistados ao telefone relatando níveis mais altos de satisfação do que aqueles que responderam a pesquisa na Web.

Perguntas sobre discriminação social contra vários grupos diferentes também produziram grandes diferenças, com os entrevistados por telefone mais aptos do que os entrevistados pela Web a dizer que gays e lésbicas, hispânicos e negros enfrentam muita discriminação. No entanto, não houve diferença significativa de modo nas respostas à pergunta se as mulheres enfrentam muita discriminação.



Respostas diferentes na Web e no telefoneOs entrevistados da web eram muito mais propensos do que os entrevistados ao telefone a dar a várias figuras políticas uma avaliação 'muito desfavorável', uma tendência que se concentrava entre os membros do partido oposto de cada figura avaliada.

Efeitos de modo estatisticamente significativos também foram observados em várias outras questões. Os entrevistados por telefone eram mais propensos do que os entrevistados na Web a dizer que falavam com frequência com seus vizinhos, a classificar suas comunidades como um lugar 'excelente' para se viver e a classificar sua saúde como 'excelente'. Os entrevistados da Web eram mais propensos do que os entrevistados por telefone a relatar não ter condições de comprar comida ou precisar de cuidados médicos em algum momento nos últimos 12 meses.

Uma preocupação importante sobre os efeitos de modo é que eles nem sempre afetam todos os respondentes da mesma maneira. Certos tipos de entrevistados podem ser mais vulneráveis ​​do que outros ao efeito do modo de entrevista. Em alguns casos, isso pode ser uma consequência de fatores cognitivos; por exemplo, respondentes com alto nível de instrução podem ser mais capazes do que aqueles com menos instrução para compreender perguntas escritas. Em outros casos, a sensibilidade de uma pergunta pode ser maior para certos respondentes do que para outros; por exemplo, os efeitos do modo sobre as questões sobre dificuldades financeiras podem ser muito maiores entre os indivíduos de baixa renda - as pessoas com maior probabilidade de vivenciar tais problemas.1

Apesar dessas diferenças às vezes substanciais, o estudo descobriu que muitas perguntas de pesquisa comumente usadas não evidenciam nenhum efeito modal. Relatos sobre várias atividades pessoais realizadas 'ontem' - como receber notícias de um jornal, na televisão ou no rádio; ligar para um amigo ou parente; escrever ou receber uma carta; ou fazer algum tipo de exercício - não mostraram diferenças significativas por modo de entrevista. E a maioria das perguntas sobre afiliação, crença e prática religiosa produziu resultados semelhantes na Web e no telefone, embora os entrevistados da Web fossem um pouco mais propensos do que os entrevistados ao telefone a dizer que 'raramente' ou 'nunca' compareciam a serviços religiosos.

Sobre o estudo

Total de entrevistadosEste estudo foi conduzido usando o American Trends Panel (ATP) nacionalmente representativo do Pew Research Center. Os membros do painel que normalmente respondem às pesquisas na Web foram aleatoriamente designados para o modo telefone (N = 1.494 preenchido por telefone) ou o modo Web (N = 1.509 concluído na Web). Cada conjunto de entrevistados foi avaliado de forma independente para ser representativo do público dos EUA, em um esforço para garantir que quaisquer diferenças observadas entre os grupos fossem resultado apenas do modo de efeitos da entrevista. As diferenças de modo para cada pergunta do estudo foram medidas comparando as respostas dadas pelos grupos da Web e de telefone usando uma categoria comumente relatada de cada pergunta no estudo ou a categoria que mostra a maior diferença de modo - o que for maior.

Por que ocorrem os efeitos do modo de entrevista

A experiência de ser entrevistado por outra pessoa é diferente de responder a uma pesquisa online ou em papel. Por exemplo, um entrevistador pode ajudar os entrevistados a manter o foco e pode fornecer esclarecimento ou encorajamento em momentos difíceis durante a entrevista.

Mas a interação social inerente a uma entrevista por telefone ou pessoalmente também pode exercer pressões sutis sobre os entrevistados que afetam o modo como respondem às perguntas. Os entrevistados podem sentir a necessidade de se apresentarem de uma maneira mais positiva a um entrevistador, levando a uma exagero de comportamentos e atitudes socialmente desejáveis ​​e a uma subavaliação de opiniões e comportamentos que temem provocar a desaprovação de outra pessoa. Pesquisas anteriores mostraram que os entrevistados subestimam atividades como o uso de drogas e álcool e exageram atividades como doar para instituições de caridade ou ajudar outras pessoas. Este fenômeno é freqüentemente referido como 'viés de desejabilidade social'. Esses efeitos podem ser mais fortes em certos tipos de pessoas do que em outros, introduzindo um viés adicional nos resultados.2

A maioria das maiores diferenças de modo observadas neste estudo são observadas em questões em que o viés da desejabilidade social poderia desempenhar um papel nas respostas. Dos 21 itens que mostram uma diferença por modo de pelo menos sete pontos percentuais, sete envolvem classificações de figuras políticas (e classificações muito negativas são menos prevalentes para todos os sete itens no telefone do que na Web), quatro envolvem perguntas sobre questões pessoais íntimas incluindo satisfação com a vida, estado de saúde e problemas financeiros (com respostas positivas mais comuns ao telefone em todos eles) e três estão relacionados a percepções de discriminação contra grupos minoritários (com os entrevistados por telefone mais propensos a dizer que há discriminação contra cada grupo). Duas outras perguntas que se enquadram nessa estrutura são conversar com vizinhos e comparecer a serviços religiosos. Os entrevistados por telefone tiveram 11 pontos mais probabilidade do que os entrevistados da Web de dizer que falavam com vizinhos pelo menos algumas vezes por semana. Os respondentes da Web tinham sete pontos a mais de probabilidade do que os que responderam por telefone de dizer que raramente ou nunca vão a serviços religiosos.

Mas nem todas as perguntas que tocam em tópicos potencialmente sensíveis ou envolvem comportamentos que são socialmente desejáveis ​​ou indesejáveis ​​exibem efeitos de modo. Por exemplo, não houve diferença significativa de modo em como as pessoas classificaram sua própria felicidade pessoal; ou nas porcentagens de pessoas que disseram ter feito trabalho voluntário no último ano, ligaram para um amigo ou parente ontem apenas para conversar, ou visitaram familiares ou amigos ontem. Também não houve diferenças por modo nas ações de pessoas que não são religiosamente afiliadas, pensam que uma pessoa deve acreditar em Deus para serem morais ou dizem que a religião é muito importante em sua vida.

Além disso, existem outras fontes de diferença de modo além da desejabilidade social. Como as pesquisas exigem processamento cognitivo de palavras e frases para entender uma pergunta e escolher uma opção de resposta apropriada, o canal no qual a pergunta e as opções são comunicadas também pode afetar as respostas. Uma pergunta complicada com muitas opções de resposta diferentes pode ser muito difícil de compreender quando alguém a ouve ao telefone, mas mais fácil de processar quando lida online ou no papel. Por serem mais fáceis de lembrar, a última opção de resposta lida por um entrevistador pode ser favorecida pelos entrevistados - um fenômeno chamado de 'efeito de recência'. Esse efeito é menos prevalente em uma pesquisa autoadministrada, em que os entrevistados podem ver todas as opções de resposta em um piscar de olhos ou podem voltar e reler uma pergunta por conta própria.3

Uma pergunta da pesquisa era longa e um tanto complicada e poderia representar um desafio maior para o telefone do que para os entrevistados da Web: um item que pedia aos entrevistados que se classificassem em uma ou mais categorias raciais ou étnicas. Este item foi modelado a partir de uma nova questão em análise pelo Censo dos EUA que, pela primeira vez, inclui a origem hispânica como uma opção junto com as categorias raciais mais tradicionais, como branca, negra ou afro-americana, asiática ou asiático-americana. Mesmo assim, os entrevistados por telefone e pela Web deram respostas quase idênticas.

A pressão de tempo implícita em uma pesquisa administrada por entrevistador pode afetar a disposição de um entrevistado de se envolver na quantidade de pensamento necessária para recordar fatos ou eventos passados, levando a respostas diferentes das que seriam obtidas se nenhum entrevistador estivesse envolvido. E, claro, a ausência de um entrevistador pode tornar mais provável que alguns respondentes na Web ou no papel decidam acelerar um questionário para terminar mais rapidamente, fornecendo dados de qualidade inferior.

Em geral, encontramos poucas evidências de que processos cognitivos desse tipo criaram diferenças de modo nas respostas. Isso pode refletir o fato de que as questões escolhidas para este estudo são extraídas de itens bem testados projetados para pesquisas por telefone e, portanto, não refletem os tipos de itens pesados ​​que anteriormente foram mostrados para criar efeitos modais. Também é possível que os painelistas, tendo participado de uma grande pesquisa por telefone com o Pew Research Center (o estudo de polarização que foi usado para recrutar o American Trends Panel) e - para a grande maioria - pelo menos uma onda de painel anterior, sejam participantes mais experientes da pesquisa do que outros e, portanto, são menos vulneráveis ​​aos efeitos do modo do que seria uma nova amostra transversal.

Este relatório apresenta as descobertas do estudo em uma série de seções organizadas pelo tópico das perguntas da pesquisa utilizadas. Após uma discussão das conclusões do estudo, há uma descrição metodológica detalhada do estudo. Segue uma tabela apresentando todos os itens classificados pelo tamanho das diferenças de modo. No final, há uma linha superior completa, mostrando todas as perguntas e categorias de resposta.

Âmbito das diferenças de modo

Este estudo é composto de comparações de modo de entrevista em 60 perguntas diferentes, cobrindo uma variedade de assuntos e formatos de perguntas.

Facebook   twitter