• Principal
  • Métodos
  • Crescendo e melhorando o Painel de Tendências Americanas do Pew Research Center

Crescendo e melhorando o Painel de Tendências Americanas do Pew Research Center

O American Trends Panel (ATP) do Pew Research Center é agora a principal fonte de dados do Centro para pesquisas de opinião pública dos EUA. Este painel de pesquisa representativo nacional fará 5 anos no início deste ano. Desde sua criação em 2014, o painel cresceu substancialmente e mudou de várias maneiras. A primeira coorte de painelistas recrutados consistia em 5.338 adultos, dos quais 4.266 participaram de pelo menos uma pesquisa. O tamanho médio da amostra de uma onda típica para esta coorte foi de pouco mais de 3.200. Após mais três recrutamentos, o painel agora tem 13.569 painelistas ativos com a onda de entrevistas mais recente produzindo 10.618 entrevistas online.

Este relatório fornece um retrato do painel como ele existe agora e descreve como sua metodologia evoluiu. Também discute os desafios em andamento que a pesquisa de pesquisas está enfrentando e como o Painel de Tendências Americanas e outras pesquisas estão lidando com eles.

Por que um painel de pesquisa?

Por várias décadas, a maioria das pesquisas políticas e sociais do público em geral dos EUA foram conduzidas por telefone. Na grande maioria deles, os entrevistados foram entrevistados apenas uma vez. Mas a mudança dos hábitos sociais e de comunicação e o crescimento das preocupações com a privacidade fizeram com que as taxas de resposta a pesquisas por telefone caíssem. Apesar disso, as pesquisas por telefone continuam a fornecer dados precisos, um ponto reforçado pelo bom desempenho geral das pesquisas eleitorais realizadas por telefone nas eleições de meio de mandato de 2018. Dito isso, as taxas de resposta em declínio e a mudança de telefones fixos para celulares levaram a aumentos dramáticos no custo de conduzir pesquisas por telefone de alta qualidade.

Enquanto essas mudanças ocorriam, outras tendências tornavam as pesquisas autoadministradas - e as pesquisas online em particular - mais atraentes. O acesso à Internet estava se expandindo, o uso de smartphones estava crescendo e os metodologistas de pesquisa estavam demonstrando as vantagens de medição da autoadministração para pesquisas. O número de pesquisas conduzidas online disparou nas últimas duas décadas, à medida que as empresas transferiam a maior parte de suas pesquisas de mercado para a web e os usuários acadêmicos consideravam a combinação de baixo custo e facilidade de experimentação muito atraente.

Essas tendências levaram a um renascimento do interesse em painéis de pesquisa - um conjunto de entrevistados que concordam em fazer repetidas entrevistas ao longo do tempo, reduzindo assim a necessidade de amostrar, contatar e persuadir novos entrevistados cada vez que novos dados são necessários. Painéis dificilmente são uma invenção recente, mas tem havido um crescimento relativamente recente na demanda por produtos de alta qualidadeconectadospainéis que usam amostras aleatórias. Foi nesse contexto que o Pew Research Center decidiu criar o American Trends Panel em 2014.

Os painéis têm muitas características atraentes quando comparados com os designs de pesquisa que conduzem apenas uma entrevista com um indivíduo da amostra. O mais notável é o custo. Os painéis são caros para construir e manter adequadamente, mas, com o tempo, resultam em entrevistas que são significativamente mais baratas do que pesquisas únicas. As taxas de participação na pesquisa entre os painelistas ativos são bastante altas (quase 80%, em média, entre os membros da ATP), o que significa que menos esforço é despendido para obter o tamanho de amostra desejado. Mas os benefícios dos painéis de pesquisa vão muito além do custo.



Como os mesmos indivíduos estão participando de várias pesquisas ao longo do tempo, os pesquisadores podem reunir uma quantidade considerável de informações sobre cada pessoa. Uma vez que um perfil das características atitudinais, sociais, demográficas e políticas de cada membro do painel tenha sido coletado, as pesquisas subsequentes não precisam fazer muitas dessas perguntas novamente. Isso libera espaço de questionário para as questões mais substantivas de interesse dos pesquisadores, bem como cria um retrato rico e multidimensional de cada painelista. Como as pessoas tendem a permanecer nos painéis por muito tempo (mais da metade daqueles que participaram de uma pesquisa do Painel de Tendências Americanas em 2014 ainda estão participando ativamente de pesquisas quatro anos depois), é possível rastrear mudanças de comportamento em nível individual ao longo do tempo e atitudes como opiniões do presidente.

Métodos

O design do American Trends Panel, como todas as pesquisas, envolveu vários trade-offs. Uma piada popular na profissão de pesquisador diz que três coisas são valorizadas acima de tudo: qualidade, velocidade e preço acessível. O ponto alto é que você pode escolher qualquer um dos três que quiser. O ATP não está imune a esse problema.

Não é tão ruim quanto isso na prática, mas o fato dos trade-offs é real. A coleta de dados rápida geralmente significa sacrificar alguma representatividade na amostra. Os entrevistados difíceis de alcançar e de entrevistar podem ser localizados e persuadidos a cooperar (melhorando assim a representatividade da amostra), mas isso muitas vezes exige esforço, tempo e custo consideráveis. Os recursos dedicados à redução de erros em um aspecto de uma pesquisa geralmente significam que menos recursos podem ser dedicados a algum outro aspecto. Os pesquisadores do Centro enfrentaram constantemente esses problemas à medida que o ATP era construído e evoluía.

O principal objetivo do ATP era fornecer uma amostra representativa e confiável de americanos adultos para as necessidades de pesquisa do Pew Research Center. Quando foi criado em 2014, era visto como um suplemento para as pesquisas por telefone que eram a metodologia central sendo usada para a pesquisa política e social do Centro com base nos EUA. Como as pesquisas por telefone se tornaram mais difíceis e caras de conduzir, o painel gradualmente se tornou o principal método de coleta de dados para esta pesquisa. Foi a principal fonte de dados para a maioria dos relatórios do Centro sobre atitudes e comportamentos políticos e sociais dos EUA em 2018. Essa transformação exigiu que o painel crescesse em tamanho, proporcionasse um retorno mais rápido e melhorasse sua capacidade de representar a população com precisão.

O que se segue é uma descrição das escolhas, decisões e resultados para cada aspecto principal da construção e operação do painel: recrutamento, coleta de dados, manutenção, ponderação e custos.

Recrutamento

O recrutamento para a ATP foi realizado quatro vezes (2014, 2015, 2017 e 2018).1Os convites aos painelistas em potencial para os dois primeiros recrutamentos foram feitos no final de grandes e extensas pesquisas por telefone de discagem aleatória (RDD) que tratavam principalmente de tópicos políticos. Ao planejar o terceiro recrutamento, os pesquisadores decidiram usar uma pesquisa telefônica RDD personalizada mais curta, com pouco conteúdo político, devido à preocupação de que o uso de uma pesquisa com foco na política aumentasse a probabilidade de o painel ser tendencioso para pessoas especialmente interessadas em política.

Para o recrutamento mais recente, os pesquisadores decidiram abandonar completamente o telefone e mudar para uma amostra baseada em endereço (ABS) de domicílios selecionados do Arquivo de Sequência de Entrega do Serviço Postal dos EUA (DSF). Uma parcela muito maior dos que responderam à pesquisa de recrutamento por correio concordou em se juntar ao painel do que foi o caso para os três recrutamentos por telefone; 94% dos que completaram a pesquisa de triagem juntaram-se ao painel, em comparação com cerca de 50%, em média, dos três recrutamentos por telefone.

Além disso, em comparação com os grupos anteriores do painel, uma parcela muito maior dos que ingressaram no quarto recrutamento fez as pesquisas regulares do que foi o caso daqueles que ingressaram após um recrutamento por telefone. Nos três recrutamentos por telefone, uma parte considerável daqueles que concordaram em se juntar ao painel nunca participou de uma onda regular de painéis. Em contraste, uma parcela muito maior daqueles no quarto recrutamento que concordaram em participar do painel responderam a pelo menos uma das pesquisas disponíveis.

Os três primeiros recrutamentos usaram amostras RDD estratificadas de quadro duplo, com taxas de telefone fixo para celular que eram padrão no Pew Research Center no momento da coleta de dados (50% -50% em 2014, 65% -35% em 2015 e 75% -25% em 2017).

Para o recrutamento ABS de 2018, a amostra foi projetada para compensar as taxas de resposta um pouco mais baixas entre hispânicos e afro-americanos e para garantir tamanhos de amostra adequados de jovens adultos. Para atingir esse objetivo, a amostra foi estratificada usando dados do Censo e outras informações anexadas ao DSF, e as famílias que se acredita pertencerem às categorias-alvo foram amostradas a uma taxa mais alta do que outras.

As correspondências no quarto recrutamento incluíam uma carta de apresentação convidando os destinatários (e, especificamente, o adulto da família com o próximo aniversário) a responder à pesquisa online, informações sobre como responder à pesquisa, $ 2 em dinheiro como um pré-incentivo e uma promessa de $ 10 pós-incentivo para completar a pesquisa. Ao final da pesquisa, os respondentes foram convidados a participar do painel.
Recrutamento de famílias sem internet
Há um obstáculo óbvio para obter uma amostra representativa nacionalmente com uma pesquisa online: nem todo mundo nos EUA usa a Internet. A proporção de adultos que não usam a internet foi estimada em 11% em 2018. E embora este seja um grupo relativamente pequeno, seus membros são bastante diferentes demograficamente daqueles que vão online. Portanto, é importante representá-los no painel. Nos primeiros dois anos, o ATP o fez fornecendo aos respondentes que não usavam a Internet um questionário em papel que eles podiam devolver pelo correio. Essa abordagem significava que os respondentes online e por correio estavam usando uma pesquisa autoadministrada (em vez de entrevistar o grupo não conectado à Internet por telefone). Mas essa abordagem tinha sérias desvantagens. Muitas das vantagens da administração online, como a capacidade de usar o salto automático de perguntas e ramificação no questionário (fazer perguntas diferentes a respondentes com base nas respostas às perguntas anteriores), eram impossíveis de replicar no instrumento de correio. O questionário por correio limitou o número de diferentes formulários (ou versões) do questionário que poderiam ser empregados. E produzir um questionário separado e processar as correspondências e devoluções exigiu um esforço administrativo substancial, bem como estender o tempo necessário para coletar os dados.

Como resultado dessas questões, os pesquisadores fizeram um esforço em 2016 para converter os painelistas de correio para a web, fornecendo-lhes tablets, acesso à internet e suporte técnico. Enquanto dois terços dos painelistas que responderam às pesquisas por correio na época concordaram em ser convertidos para a web, apenas 41% dos 574 realmente o seguiram e começaram a fazer pesquisas em seus tablets até o final do ano. Uma comparação entre aqueles que se converteram e aqueles que não mostraram - talvez sem surpresa - que a idade foi um forte indicador de conversão. Enquanto metade das pessoas de 50 a 64 anos (53%) se converteram, apenas 32% das pessoas de 65 anos ou mais o fizeram. Educação, sexo, renda e envolvimento político não foram indicadores significativos de quem se converteria.

O terceiro e o quarto recrutamento ofereceram tablets e serviço de Internet gratuitos a todos os entrevistados que desejassem participar do painel, mas não tinham acesso doméstico à Internet. Um total de 125 painelistas de tablet foi adicionado a esses recrutamentos, elevando o número total para 275, ou 2% de todos os painelistas ativos.

A sub-representação de domicílios não conectados à Internet continua sendo um desafio para o ATP. Embora representem uma parcela relativamente pequena da população adulta, essas famílias são demograficamente bem diferentes daquelas que têm acesso à Internet em casa. Quase metade dos participantes do painel sem acesso à Internet tem 65 anos ou mais, cerca de seis em cada dez têm apenas o ensino médio ou menos e quase a metade não é branca.

Entrevistando

Os painelistas geralmente respondem a pelo menos uma pesquisa por mês. O painel recém-expandido torna possível conduzir mais de uma pesquisa por mês por subamostragem do grupo maior de painelistas, mas o volume de pesquisas pode crescer o suficiente para que muitos painelistas sejam solicitados a preencher duas pesquisas por mês. Isso ainda é, por design, menos frequente do que muitos outros painéis baseados em probabilidade nos EUA.

Os membros do painel ATP recebem um convite de pesquisa por e-mail ou mensagem de texto, se tiverem consentido. Aqueles que receberam tablets são convidados por mensagens de texto enviadas diretamente para seus dispositivos e também recebem um cartão postal informando que uma pesquisa está pronta. Os membros do painel podem acessar a pesquisa online por meio do convite. A pesquisa fica disponível para o painelista por aproximadamente duas semanas, e os painelistas podem iniciá-la, pausá-la e retorná-la horas ou dias depois, se desejarem.

Quando o painel começou, quase dois terços dos entrevistados participaram de suas pesquisas em um PC ou laptop. Essa participação diminuiu rapidamente ao longo de 2014 e 2015 e continuou a diminuir gradualmente desde então. Em uma vaga do painel em novembro de 2018, pouco mais da metade das entrevistas foram realizadas em um smartphone, enquanto 39% usaram um PC ou laptop. Cerca de 8% responderam à pesquisa em um computador tablet, um número que se manteve bastante estável desde a criação do painel.

Amostragem para ondas do painel

A grande maioria das ondas de painel conduzidas entre 2014 e 2018 convidou todos os painelistas ativos a participar. Em uma onda do final de 2018, 78% dos painelistas convidados a responder à pesquisa o fizeram, o que é semelhante à taxa média de conclusão do ATP. Agora que o painel tem mais de 10.000 membros, as pesquisas de painel completo se tornarão menos comuns. A maioria dos estudos do Pew Research Center não requer amostras tão grandes. Assim, um dos benefícios do painel grande é a capacidade de conduzir pesquisas com mais frequência por subamostragem, de modo que os mesmos indivíduos não sejam convidados a participar com muita frequência. Os prováveis ​​painelistas são informados durante o processo de recrutamento de que serão solicitados a responder a pesquisas 'cerca de uma ou duas vezes por mês'.

Outro benefício da subamostragem é que as amostras podem ser adaptadas para serem mais representativas do público. Conforme observado anteriormente, como a maioria das pesquisas, o painel tem um número desproporcionalmente grande de certos tipos de pessoas (por exemplo, indivíduos com ensino superior) e muito poucos de outros (por exemplo, jovens adultos). Subamostras podem ser criadas para minimizar esses vieses por subamostragem de certos grupos e sobreamostragem de outros. Isso produz uma amostra que requer ponderação menos agressiva para alinhá-la com a população e, portanto, um tamanho de amostra efetivo maior. Uma onda subamostrada recente produziu um efeito de design médio de 1,65, em comparação com os efeitos de design típicos (na época) de cerca de 2,5 ou mais para ondas de amostra completa.2

Ponderação

Uma amostra de pesquisa é um modelo da população de interesse. Para o ATP, a população de interesse é composta por adultos não institucionalizados com 18 anos ou mais que vivem nos EUA (50 estados e o Distrito de Columbia). Inevitavelmente, as amostras da pesquisa serão modelos imperfeitos da população. Mas eles podem ser ajustados para melhor corresponder à população por meio do processo de ponderação, que alinha as características da amostra aos parâmetros conhecidos da população.

Pesquisas como a ATP são normalmente ponderadas em características demográficas que são conhecidas por estarem associadas à não cobertura e não resposta da pesquisa ou relacionadas a medidas e conceitos importantes da pesquisa. Eles também são ponderados para se ajustar a aspectos do design da amostra, como a sobreamostragem ou subamostragem intencional de certos tipos de indivíduos. O peso do ATP é muito semelhante ao usado em muitos tipos de pesquisas políticas e sociais dos EUA, mas também tem vários elementos exclusivos que foram adicionados para melhorar a precisão dos dados.

Ponderação de base

Desde o seu início, o ATP foi ponderado em um processo de várias etapas que começa com uma ponderação de base que incorpora a probabilidade de seleção da pesquisa de recrutamento dos entrevistados e o fato de que alguns entrevistados foram subamostrados para convite para o painel (em 2014 e novamente em 2017). Os componentes do peso base incluíram informações sobre as estruturas de amostragem por telefone (para as três coortes recrutadas por telefone) e qualquer subamostra relevante. Entre 2014 e 2017, uma segunda etapa calculou um escore de propensão para ajustar a não resposta diferencial ao convite para se juntar ao painel. Esta etapa foi descontinuada, porque foi julgado que fornecia pouca ou nenhuma correção de viés adicional e porque o quarto recrutamento não empregou uma pesquisa por telefone. Detalhes sobre como o ajuste de propensão foi calculado podem ser encontrados aqui.

Ajuste proporcional iterativo, ou 'raking'

Dimensões de ponderaçãoA etapa final da ponderação usa uma técnica iterativa que alinha a amostra aos benchmarks da população em uma variedade de características. Este estágio de ponderação, freqüentemente referido como 'raking', usa características demográficas que são medidas de forma confiável pela American Community Survey, incluindo sexo, idade, educação e raça. Entre os hispânicos, o raking se ajusta ao local de nascimento (EUA vs. outros lugares). Os pesquisadores descobriram que isso ajuda a corrigir a sub-representação de hispânicos que são imigrantes. Duas variáveis ​​geográficas usadas no raking são a região do censo dos EUA (quatro categorias) e o status metropolitano. A ponderação também se ajusta para o acesso à internet, usando uma medida do American Community Survey. A filiação partidária também está incluída no levantamento para garantir a representação adequada de adultos em todo o espectro político. Não existe um parâmetro nacional oficial para a filiação partidária. Além disso, por ser mais uma atitude do que uma característica demográfica, ela pode mudar em resposta a eventos políticos. Conseqüentemente, a meta para afiliação partidária no ATP é baseada em uma média das três pesquisas telefônicas mais recentes do Pew Research Center que perguntaram sobre a afiliação partidária.

Corrigindo a representação excessiva de engajamento cívico e político

As pesquisas sociais e políticas são conhecidas por super-representar pessoas politicamente engajadas e que participam de atividades voluntárias. O American Trends Panel não é exceção a esse fenômeno. Como o painel é frequentemente usado para estudar tópicos relacionados ao engajamento político e cívico, os pesquisadores decidiram adicionar atividade voluntária como uma variável de raking no início de 2016. Um parâmetro nacional confiável está disponível porque o voluntariado é medido regularmente no Suplemento de Engajamento Cívico da Current Population Survey. Uma pesquisa anterior do Pew Research Center mostrou que corrigir o preconceito na atividade voluntária quase não tem efeito sobre as medidas da opinião pública, mas reduz os níveis relatados de atividade social e envolvimento da comunidade, como conversar com vizinhos ou frequentar serviços religiosos.

O preconceito no engajamento político é um pouco mais complicado. Embora adicionar o voluntariado à ponderação ajude a reduzir a representação excessiva dos politicamente engajados, isso não elimina o preconceito completamente. Um primeiro passo para resolver isso foi dado em 2017, com o terceiro recrutamento para a ATP. Em vez de anexar o recrutamento a uma pesquisa focada principalmente em política (como os dois primeiros recrutamentos fizeram), foi usada uma pesquisa de recrutamento dedicada com relativamente pouco conteúdo político (e consideravelmente menos perguntas).

Essa mudança resultou em uma coorte de recrutamento que tinha aproximadamente 10 pontos percentuais menos probabilidade de ser registrada para votar do que as duas primeiras. Mas a parcela dos registrados permaneceu um pouco mais alta do que o valor real da população. Os pesquisadores decidiram adicionar o registro de eleitor ao raking, começando com a primeira onda após a conclusão do refresco de verão de 2018 (novembro de 2018). O parâmetro para essa variável foi retirado do Suplemento de Votação e Registro da Current Population Survey 2016, ajustado para a participação real conforme descrito por Hur e Achen (2013) e implementado por Michael McDonald.

Quem está no painel?

O painel contém uma ampla seção transversal da população adulta dos EUA. Um quarto dos painelistas não é branco, um em cada cinco tem renda familiar abaixo de US $ 30.000 e quase metade tem menos de 50 anos. Mas a amostra reflete deficiências típicas das pesquisas de opinião pública. Não-brancos, pessoas com menos de 30 anos, hispânicos que falam espanhol e pessoas com apenas o ensino médio ou menos estão sub-representados, enquanto eleitores registrados, brancos não-hispânicos e graduados universitários estão sobrerrepresentados. Maiores incentivos para jovens, minorias, pessoas com menos educação e politicamente desengajados ajudam a manter a participação desses grupos difíceis de pesquisar, mas não resolvem completamente o problema. A ponderação (discutida acima) aborda os desequilíbrios demográficos na amostra para variáveis ​​que são usadas na ponderação e mitiga o viés em muitas outras variáveis, como freqüência a serviços religiosos e interesse pela política.

Custos

Embora o custo exato das pesquisas do Pew Research Center seja confidencial, é possível descrever orelativocustos de vários métodos de coleta de dados. O American Trends Panel exigiu um grande investimento inicial para criar sua infraestrutura de gerenciamento e dados. Os quatro recrutamentos realizados desde o início de 2014 também foram caros, embora os dois primeiros tenham aproveitado algumas economias de custo, já que a solicitação de recrutamento foi anexada ao final de uma pesquisa por telefone que foi financiada para uma finalidade diferente. O terceiro e o quarto recrutamento foram conduzidos principalmente para o recrutamento para o painel. Coletivamente, os custos de recrutamento são parte do que pode ser descrito como o custo total de propriedade do painel. Somando-se ao custo geral, está a migração dos membros do painel do modo de correio para tablets em 2016 e o ​​custo de fornecimento de tablets a novos recrutas em 2017 e 2018.

A condução de cada onda do painel incorre em custos adicionais do fornecedor em gerenciamento, programação, coleta de dados, incentivos aos entrevistados e processamento de dados. Há também despesas associadas ao gerenciamento contínuo e manutenção do painel, incluindo o acompanhamento dos membros do painel conforme eles se movem, respondendo a perguntas e consultas dos painelistas, pagando os custos do plano de celular para os painelistas que receberam um tablet e fornecendo suporte técnico para esses painelistas.

Considerando os custos totais de criação, recrutamento, gerenciamento e manutenção do painel, além das despesas específicas da pesquisa, uma entrevista de painel de 15 minutos é consideravelmente mais barata do que uma entrevista RDD de quadro duplo com o mesmo conteúdo substantivo. Mesmo com as despesas de gerenciamento e manutenção contínuas e específicas da pesquisa, entrevistar uma grande amostra de painel online é inerentemente menos caro do que uma pesquisa por telefone (por causa do custo da entrevista) ou uma pesquisa online única (por causa dos custos totais da amostragem e entrar em contato com respondentes em potencial). Com o tempo, as entrevistas do painel tornam-se menos caras à medida que os custos irrecuperáveis ​​são distribuídos por um número maior de entrevistas. Quanto mais tempo um membro do painel permanece em um painel, menos caro ele se torna na base de custo por conclusão.

Empreiteiros

O Pew Research Center trabalha com a Ipsos, uma organização internacional de pesquisa de mercado e opinião, para recrutar painelistas, gerenciar o painel e conduzir as pesquisas. A Ipsos também gerencia o KnowledgePanel, um grande painel online baseado em probabilidade semelhante ao American Trends Panel. A Ipsos é o terceiro empreiteiro a trabalhar com o Pew Research Center no projeto. A Abt Associates auxiliou o Pew Research Center na concepção e construção do painel em 2014. Eles administraram o painel até dezembro de 2017, quando a GfK foi contratada para fazer este trabalho. O negócio de pesquisa personalizada da GfK foi adquirido pela Ipsos em outubro de 2018. Todos os funcionários-chave da GfK que trabalham no ATP permaneceram em suas mesmas funções na Ipsos.

Facebook   twitter