Notícia

Quão diferentes são as pessoas que não respondem às pesquisas?

por Evans Witt e Jonathan Best, Princeton Survey Research Associates

para o Pew Internet & American Life Project

Em meados de 2007, a Princeton Survey Research Associates conduziu uma grande pesquisa para o Pew Internet Project e a University of Illinois-Urbana-Champaign sobre como as pessoas resolvem certos tipos de problemas.¹O financiamento para esta pesquisa foi fornecido por uma agência federal chamada Institute for Museum and Library Services.²Todas as pesquisas apoiadas pelo governo federal são revisadas pelo Escritório de Gestão e Orçamento da Casa Branca. No processo de avaliação de nossa pesquisa, os funcionários do OMB perguntaram se poderíamos fazer um trabalho adicional para ver se os não respondentes da pesquisa inicial eram diferentes daqueles que responderam. O artigo a seguir apresenta os principais achados dessa análise adicional.

Resumo das conclusões

Nas últimas duas décadas, a profissão de pesquisador tem enfrentado um número cada vez maior de americanos que não conseguem completar as entrevistas. Os níveis de não resposta levantam questões sobre a representatividade e validade das pesquisas e dos dados que fornecem. A análise adicional produzida a pedido do Escritório de Administração e Orçamento da Casa Branca (OMB) tinha três elementos.

Primeiro, o esforço de entrevista em uma subamostra dos números de telefone gerados por meio de métodos computadorizados de discagem aleatória de dígitos (RDD) foi duplicado. RDD é a prática dos pesquisadores de gerar resultados a partir de um subconjunto aleatório e representativo de uma população. O projeto original da pesquisa exigia um máximo de 10 ligações para cada número. Após 10 ligações, selecionamos 1.500 dos números de telefone que não geravam entrevistas completas e ligamos para eles pelo menos 20 vezes. Os resultados desse esforço extra foram comparados com os resultados do esforço padrão de 10 chamadas.

Em segundo lugar, foi realizada uma análise dos resultados da pesquisa a partir do projeto de base de 10 chamadas, segmentando as entrevistas pela quantidade de esforço realmente necessária para obter os resultados.

Terceiro, a amostra total de números de telefone e o subconjunto que forneceu entrevistas completas usando o design de 10 chamadas foram analisados para determinar que tipos de comunidades estão sub ou super-representados nas entrevistas concluídas.

Os resultados da análise encontraram:

Dobrar o esforço de entrevista para 20 ligações produziu 84 entrevistas adicionais. Os resultados dessas entrevistas de esforço extra variaram apenas ocasionalmente e marginalmente dos resultados do estudo de base.
O esforço extra de entrevista atraiu respostas daqueles que geralmente são mais difíceis de alcançar nas pesquisas: adultos mais jovens, adultos que trabalham e aqueles com diploma universitário foram uma parcela maior das entrevistas concluídas com esforço extra.
A análise da pesquisa original pelo nível de esforço necessário para conseguir uma entrevista revelou poucas diferenças estatisticamente significativas. Em outras palavras, houve poucas diferenças significativas entre aqueles que foram alcançados na primeira onda de chamadas, em comparação com aqueles que foram alcançados na nona ou décima tentativa de um número de telefone. A análise da amostra RDD completa e das entrevistas concluídas com “esforço extra” por características da comunidade mostrou que as entrevistas são mais difíceis de completar nas áreas urbanas e mais fáceis de completar nas áreas rurais. Embora pareça não haver variações significativas entre as comunidades por renda familiar média, as áreas com maior população de minorias (tanto hispânicas quanto afro-americanas) foram menos produtivas em termos de entrevistas, em paralelo com a descoberta nas áreas urbanas.

A questão da não resposta à pesquisa

Menos pessoas respondem às pesquisas agora do que no passado. Essas falhas para completar as entrevistas resultam de uma variedade de fatores, mas os maiores componentes são o não contato (isto é, a falha em chegar a uma pessoa no local ou número de telefone designado como parte da amostra) e recusa (o resultado de atividades ativas ou passivas para evitar a conclusão da pesquisa). Assim, a pergunta: Como as pessoas que não responderam à pesquisa diferem daquelas que o fizeram?

Tem havido uma variedade de excelentes resumos da pesquisa sobre a não resposta e potencial viés de não resposta em pesquisas, a última das quais éPublic Opinion Quarterly, Special Issue: Non-Response Bias in Household Surveys.³oPOQedição especial inclui um relatório sobre o experimento principal mais recente para avaliar o impacto do esforço extra para completar entrevistas por telefone.⁴Uma característica central de cada um desses dois experimentos foi comparar uma pesquisa RDD padrão concluída ao longo de um período de cinco dias, a uma pesquisa RDD usando o mesmo questionário, o mesmo desenho de amostra, a casa de campo da amostra, mas um período de chamada que se estendeu por mais mais de seis meses. PSRAI participou de cada um desses experimentos. Com base nesses modelos, este experimento foi desenhado com os três elementos descritos no resumo acima.

Análise de esforço básico 1: O impacto do esforço de entrevista

Uma variável de três categorias foi computada para auxiliar na análise da quantidade de esforço necessário para completar as entrevistas.

'Difícil de alcançar:Números de telefone que foram discados seis ou mais vezes na amostra originaleonde os entrevistados em potencial se recusaram a ser pesquisados, foram definidos como “difíceis”, o que significa que o nível mais alto de esforço real de entrevista era necessário para completar uma entrevista.
'Fácil de alcançar:Os números de telefone que foram chamados cinco ou menos vezes na amostra original e onde nenhum respondente em potencial se recusou a participar foram definidos como “fáceis”, o que significa que o nível mais baixo de esforço de entrevista foi necessário para completar uma entrevista.
Esforço “médio” necessário:Todos os outros números de telefone foram definidos como de esforço 'médio', incluindo os entrevistados que foram chamados seisoumais vezes ou se recusou a participar de uma entrevista, mas não ambos.

A tabela abaixo compara os dados demográficos da amostra dos entrevistados de acordo com a quantidade de esforço necessário para completar uma entrevista. Mostra que o maior esforço despendido provou ser positivo para alcançar os entrevistados mais jovens, especialmente aqueles de 18 a 29 anos. Os entrevistados mais velhos (65 anos de idade ou mais) que foram definidos como de fácil acesso foram superrepresentados em comparação com sua prevalência na população em geral; as taxas de conclusão são significativamente e muito mais baixas para respondentes de médio ou difícil alcance.

O maior esforço despendido para completar entrevistas com brancos foi mais produtivo em entrar em contato novamente com os entrevistados no grupo fácil (que não recusaram a participação ou foram chamados menos de seis vezes antes) em que 69% da amostra eram brancos. Os entrevistados nas categorias médio ou difícil tinham menos probabilidade de serem brancos. Mais esforço levou a um maior número de entrevistas concluídas com afro-americanos. Houve pouca diferença pelo esforço em alcançar os hispânicos.

Foi mais difícil completar entrevistas com entrevistados nas categorias médio e difícil que estavam empregados em tempo integral ou parcial, em comparação com entrevistados que disseram estar aposentados. Enquanto o maior esforço compensou em taxas de conclusão mais altas entre os empregados nas categorias média e difícil, os esforços extras foram menos frutíferos na realização de entrevistas com aposentados nas categorias média e difícil (30% entre fáceis vs. uma média de 22% para um agregado de médio e duro).

Impactos do esforço nas distribuições demográficas de nível comunitário

Também testamos para ver se mais esforços ajudaram a completar entrevistas em comunidades mais difíceis de alcançar. Normalmente, nas amostras de telefone RDD, os domicílios em áreas urbanas densamente povoadas estão sub-representados. Essas famílias também têm maior probabilidade de ter residentes de minorias.

A tabela abaixo compara as três subamostras em relação à densidade populacional e a porcentagem da população de uma comunidade que é minoria. Não houve diferenças significativas entre as taxas de conclusão em relação aos níveis de esforço despendidos para fazer com que os respondentes participassem. Não houve variação significativa no alcance de respondentes em áreas de alta densidade com relação ao nível de esforço despendido para completar as entrevistas.

Impactos do esforço nas distribuições substantivas de respostas às perguntas

De particular interesse para esta ou qualquer pesquisa é o possível efeito que um esforço extra pode ter sobre os resultados substantivos. Para esta análise, selecionamos um subconjunto de questões a serem investigadas. As primeiras perguntas que analisamos foram uma série sobre visitas a várias instituições locais nos últimos 12 meses. Há pouca variação entre as respostas afirmativas nesta série. Nenhuma das diferenças é estatisticamente significativa.

Da mesma forma, comparando os resultados de uma série de perguntas sobre o uso do computador e da Internet entre os respondentes dos subgrupos, não observamos diferenças estatisticamente significativas nas respostas entre os segmentos de esforço.

Finalmente, examinamos as diferenças em uma série de perguntas que questionavam sobre dez situações ou decisões que as pessoas podem ter enfrentado nos últimos dois anos. Houve diferenças estatisticamente significativas entre os três subgrupos em apenas dois dos 10 itens da lista. Os entrevistados mais difíceis de alcançar eram mais propensos do que outros nas categorias fácil e médio a tomar uma decisão sobre escolaridade ou educação (46% vs. 40% para médio e 34% para fácil). Idade e status parental são provavelmente os fatores que afetam esses resultados. Os respondentes mais jovens são normalmente mais difíceis de alcançar, aparecem na amostra de maior esforço em proporções mais altas do que no estudo original e são inerentemente mais propensos a ter tomado decisões recentes sobre sua educação.

A maior probabilidade entre os respondentes das categorias fácil (48%) e médio (51%) de ter lidado com uma doença ou condição de saúde séria é atribuída ao fato de os respondentes mais velhos e aposentados serem mais fáceis de contatar.

O próximo passo foi analisar os resultados das perguntas que perguntavam sobre as fontes que as pessoas usam para obter informações ou assistência. Aqui, os resultados foram geralmente uniformes entre as categorias de esforço. Houve pequenas diferenças estatisticamente significativas em termos de quem usava a Internet para encontrar informações ou ajuda na solução de seus problemas. Os entrevistados de médio e difícil alcance foram ligeiramente mais propensos do que os de fácil acesso a usar a Internet (57% para difícil / médio vs. 53% para fácil). Isso se correlaciona com o maior uso da Internet por jovens, que são, por sua vez, mais difíceis de alcançar.

Análise de esforço básico II: Demografia da comunidade e recusas

A segunda parte da análise do viés potencial de não resposta inclui um exame das disposições da amostra final de números discados pela comunidade para avaliar a representação excessiva ou insuficiente na amostra original. As categorias de disposição incluem entrevistas concluídas (concluídas), uma combinação de recusas e chamadas de retorno (recusas / chamadas de retorno) e números discados onde nenhum respondente potencial foi contatado (não contatos). A tabela abaixo compara o efeito da região, tipo de comunidade e se aqueles que foram amostrados vivem em uma Área Estatística Metropolitana (MSA)⁵ou não, na resposta.

Como pode ser visto na tabela acima, as diferenças na resposta são vistas principalmente entre as regiões geográficas representadas na amostra.

Uma proporção relativa maior de entrevistas com entrevistados do Centro-Oeste foi concluída (23%), em comparação com apenas 15% no Oeste. Um terço da amostra da região Oeste não pôde ser contatado pelos entrevistadores do PSRAI. Da mesma forma, os entrevistadores não conseguiram entrar em contato com um entrevistado potencial para 33% da amostra que veio de áreas urbanas. A própria amostra Oeste foi significativamente direcionada para as comunidades urbanas, compreendendo 54% da amostra total da região.

Renda, densidade minoritária e resposta

A tabela abaixo compara as categorias de disposição com a renda familiar média e a densidade percentual de hispânicos e afro-americanos dentro de blocos de amostra usados para entrevistas. Há muito pouca diferença entre as distribuições de renda para os três segmentos da amostra. Entre 35% e 40% de cada segmento vinha de áreas com renda familiar mais baixa e menos de 10% de cada grupo vinha de áreas de renda mais alta.

As entrevistas eram mais fáceis de conduzir em áreas com menos famílias hispânicas. Quase dois terços de todas as entrevistas concluídas (63%) vieram de áreas com a menor incidência de lares hispânicos. Apenas cerca de metade da amostra nos outros grupos veio dessas áreas hispânicas de baixa incidência (53% das recusas / chamadas de retorno e 46% dos não contatos). A mesma tendência não é observada ao comparar as áreas afro-americanas de alta e baixa densidade. Preenchimentos, recusas e não contatos foram distribuídos da mesma forma entre os estratos afro-americanos.

Análise de esforço extra III: esforço extra, chamadas extras

Em um esforço para analisar o viés potencial de não resposta nos resultados da pesquisa, uma amostra de 1.500 números de telefone que haviam sido chamados 10 vezes e ainda eram números ativos foram colocados em um novo projeto e discados até mais 10 vezes para tentar completar um entrevista. Os números incluídos na discagem de esforço extra se enquadram em três categorias.

Não contatos:Números que não resultaram em contato com uma pessoa na pesquisa inicial. Esses números eram uma combinação de sem resposta / ocupado / secretária eletrônica para todas as tentativas.
Recusas:Números que resultaram em uma recusa em uma das primeiras 10 tentativas, mas não foram convertidos em uma entrevista completa.⁶
Break-offs:Números em que os entrevistados começaram uma entrevista, mas não terminaram.

Outras 13.742 ligações foram feitas para a amostra de esforço extra e outras 84 entrevistas foram concluídas. Isso se traduz em uma entrevista concluída para cada 164 tentativas de chamada.⁷

É difícil completar uma entrevista depois que um número de telefone foi discado 10 vezes sem sucesso. A tabela compara o resultado dos números de esforço extra na 10ª tentativa (as colunas) com o resultado após 20 ou mais chamadas (as linhas).

Como pode ser visto na tabela, a taxa de sucesso foi baixa, com apenas 6% dos casos de esforço extra rendendo entrevistas concluídas. A taxa de conversão foi maior para os break-offs e callbacks, com 16% e 14% convertidos, respectivamente. Os números que não eram contatos nas primeiras 10 tentativas tiveram a menor taxa de conversão (3%). Sete por cento das recusas foram convertidas após a décima tentativa.

Efeito do esforço extra na demografia de nível pessoal⁸

Uma maneira de avaliar o viés potencial de não resposta é comparar os dados demográficos dos entrevistados entrevistados com o esforço extra com aqueles entrevistados sem nenhum esforço extra. A tabela abaixo compara os dados demográficos básicos da amostra dos dois grupos. Os parâmetros da população também são representados na tabela para contextualizar os números.

A distribuição de gênero nas duas amostras foi quase idêntica, 39% e 40% do sexo masculino. Como é comum na maioria das pesquisas por telefone, os homens estão sub-representados. Houve uma diferença na distribuição de idade das duas amostras, com a amostra de esforço extra fazendo um trabalho um pouco melhor para alcançar os entrevistados mais jovens, especialmente o grupo de 30-49 anos. Além disso, o esforço extra rendeu uma proporção mais adequada de entrevistados mais velhos (13%) do que a amostra regular (25%).

Ambas as amostras super-representaram graduados universitários e sub-representaram pessoas com menos educação. No entanto, em geral, a amostra regular obteve uma distribuição geral da educação ligeiramente melhor.

A raça / etnia das duas amostras era comparável. No entanto, o esforço extra valeu a pena alcançar mais entrevistados hispânicos do que a amostra padrão. A amostra de esforço extra também atingiu mais entrevistados empregados do que a amostra padrão (66% vs. 55%) e não representou em excesso os aposentados como fez a amostra padrão.

Efeito do esforço extra nas perguntas substantivas selecionadas

Investigamos as diferenças nas respostas às perguntas sobre as fontes de informação que as pessoas usavam quando enfrentavam problemas para ver se havia alguma diferença entre as amostras iniciais e de esforço extra. Os resultados para as duas amostras foram muito semelhantes, com exceção do uso da Internet para encontrar informações ou assistência na resolução de problemas. Um número significativamente maior de pessoas na amostra de esforço extra relatou usar a Internet para obter informações ou obter ajuda com sua decisão ou situação recente (68% vs. 55%).

Uma nota final sobre o viés potencial

O esforço extra de entrevista teve o impacto esperado: aqueles que são mais difíceis de alcançar em geral foram aqueles alcançados com esforço extra. Adultos mais jovens, adultos que trabalham e aqueles com diploma universitário são mais difíceis de alcançar e, portanto, receberam uma parcela maior do esforço extra concluído. Em termos de questões substantivas, o impacto do esforço extra é paralelo às diferenças demográficas. Aqueles alcançados com esforço extra eram mais propensos a dizer que lidaram com uma questão educacional (refletindo os adultos mais jovens) e menos propensos a lidar com um problema de saúde ou Medicare (refletindo a maior proporção de adultos mais velhos na amostra normal). Mesmo quando os resultados foram significativamente diferentes com o grupo de esforço extra, o impacto nos resultados gerais foi pequeno. Considere que a amostra de 1.500 números de esforço extra rendeu apenas 84 entrevistas concluídas. Uma vez que apenas cerca de 3.000 números se qualificaram para o estudo de esforço extra, mesmo se todos eles tivessem sido discados mais 10 vezes, isso teria acrescentado aproximadamente 170 números completos à amostra principal de mais de 2.000. Mesmo que os resultados do esforço extra difiram substancialmente da amostra principal, eles simplesmente não seriam suficientes para movimentar os resultados gerais da pesquisa.

¹ Pesquisas de informações que resolvem problemas. Leigh Estabrook, Evans Witt e Lee Rainie 30/12/2007 https://www.pewresearch.org/internet/PPF/r/231/report_display.asp 30/12/2007.

²Número da liberação OMB, 3137-0070, data de validade 30/06/2010.

³ Opinião Pública Trimestral, Edição especial: Viés de não resposta em pesquisas domiciliares, 2006, vol. 70, nº 5.

⁴ Avaliando o impacto da crescente falta de resposta nas estimativas de uma pesquisa nacional por telefone RDD, Keeter e. al.POQ, 70: 759-779. Isso atualizou uma revisão feita emConsequências da redução da falta de resposta em uma grande pesquisa nacional por telefone, Keeter e. al.,POQ64: 125-48.

⁵As MSAs são delineadas com base em uma área central urbanizada - uma área contígua de densidade populacional relativamente alta. Os condados que contêm a área central urbanizada são conhecidos como condados centrais da MSA. Outros condados circunvizinhos (conhecidos como condados periféricos) podem ser incluídos no MSA se esses condados tiverem fortes laços sociais e econômicos com os condados centrais, conforme medido por deslocamento e emprego. Observe que algumas áreas dentro desses condados remotos podem, na verdade, ser de natureza rural.

⁶As recusas duras foram excluídas do estudo de esforço extra. Estes são os números de telefone em que os entrevistados em potencial se recusaram a cooperar em termos inequívocos.

⁷A diferença na produtividade das chamadas entre os dois exemplos é ainda mais pronunciada se você considerar que muitos dos números de telefone que não funcionam foram identificados na primeira tentativa, antes mesmo de o esforço extra começar.

⁸Dados não ponderados foram usados para todas as comparações neste relatório.