Qualidade de dados em pesquisas internacionais
P: Todos os anos, o Pew Research Center realiza pesquisas em dezenas de países. Como o Centro realiza pesquisas em tantos lugares diferentes?
Para conduzir suas pesquisas internacionais, o Pew Research Center trabalha em estreita colaboração com organizações de pesquisa social e política experientes para identificar e gerenciar empresas de votação locais em cada país incluído em nossas pesquisas. Avaliamos cuidadosamente os fornecedores locais e selecionamos apenas as empresas que atendem aos nossos requisitos de procedimentos de trabalho de campo rigorosos e controle de qualidade completo.
Nosso principal compromisso é com a qualidade dos dados, um conceito multifacetado que envolve atenção cuidadosa em cada fase do processo de pesquisa, desde a coleta da amostra, a condução das entrevistas, o processamento de um conjunto de dados e muito mais. Isso também significa estar constantemente a par das novas tecnologias e das novas práticas recomendadas.
P: Depois de selecionar um parceiro de votação local, que papel você desempenha na realização da pesquisa?
Por uma questão prática, o Pew Research Center depende de fornecedores locais para organizar e gerenciar as operações de campo. Mas o Centro está envolvido em todas as fases da pesquisa. Desenvolvemos o questionário de pesquisa, avaliamos e aprovamos o plano de amostragem e avaliamos cuidadosamente a qualidade dos dados produzidos. Descobrimos que os protocolos que regem como os entrevistadores conduzem uma pesquisa são especialmente importantes para garantir que uma pesquisa represente com precisão as atitudes do público e dos subgrupos principais, por isso prestamos muita atenção ao projeto de protocolos rigorosos.
P: Que tipo de informação você precisa coletar para monitorar a qualidade dos dados à distância?
Permanecemos em contato regular com nossos parceiros de pesquisa - as empresas de pesquisa profissionais que contratamos para ajudar a identificar, coordenar e supervisionar a extensa rede de fornecedores locais - bem como com os próprios fornecedores locais. Também temos um processo abrangente para confirmar se uma empresa local compreende e pode executar o plano de amostragem e os procedimentos de trabalho de campo necessários.
As informações que coletamos para fazer isso incluem:
- um relato detalhado do método de escolha dos entrevistados (o desenho da amostra) e os desafios enfrentados durante o trabalho de campo; extensa documentação das estatísticas populacionais usadas para avaliar o desempenho da amostra ou, em termos menos formais, uma compreensão das metas populacionais que a equipe de trabalho de campo está tentando atingir (por exemplo, a proporção de homens e mulheres) e o quão bem-sucedidos eles foram nesse esforço . Nos EUA, para comparação, essas estatísticas populacionais seriam baseadas no trabalho do U.S. Census Bureau;
- registros para cada entrevista do entrevistador que a conduziu, bem como do supervisor que supervisionou esse entrevistador e a pessoa que inseriu os dados resultantes. Isso permite a investigação retrospectiva de padrões incomuns nos dados;
- detalhes logísticos abrangentes para cada entrevista, incluindo hora do dia, local, duração e presença de outras pessoas; e
- quando possível, dados sobre todos os contatos feitos para completar a pesquisa, incluindo domicílios que não responderam ao convite da pesquisa e pessoas que se recusaram a participar.
P: Quão envolvido está o Pew Research Center no treinamento dos entrevistadores que conduzem as pesquisas?
Com o tempo, nos envolvemos mais nesta fase de um projeto. Principalmente, queremos ter certeza de que os entrevistadores estão familiarizados e confortáveis com os protocolos de trabalho de campo e que entendem por que devem seguir essas diretrizes. É logisticamente desafiador para nós observar diretamente o treinamento de entrevistadores em vários países. Mas estamos trabalhando para desenvolver soluções inovadoras. Para uma pesquisa multinacional na América Latina, por exemplo, observamos treinamentos via link de vídeo. Para um projeto no Leste Europeu, organizamos uma reunião centralizada de supervisores de campo de diferentes países para que nossa equipe pudesse observar o treinamento pessoalmente.
P: Como o Pew Research Center supervisiona um projeto de pesquisa quando ele está no campo?
Durante o trabalho de campo, exigimos que os fornecedores locais usem várias medidas de controle de qualidade para monitorar as entrevistas. Primeiro, uma determinada porcentagem das entrevistas deve ser supervisionada. Em segundo lugar, em pesquisas face a face, um subconjunto aleatório das entrevistas de cada entrevistador deve ser 'verificado'. Isso exige que um colega na empresa de pesquisa verifique com um entrevistado - pessoalmente ou por telefone - e verifique se a entrevista ocorreu. Várias perguntas da pesquisa são feitas novamente para confirmar as respostas. Finalmente, não permitimos que um entrevistador conduza mais de 5% de todas as entrevistas. Isso ajuda a minimizar o impacto que um único entrevistador pode ter na qualidade do conjunto de dados final.
Uma prática mais recente é pedir às empresas de pesquisa locais que relatem, em horários predeterminados durante o período de campo, o número total de entrevistas realizadas, a distribuição regional das entrevistas e a combinação dos entrevistados por idade e gênero. Sempre que possível, solicitamos que essas informações sejam discriminadas por entrevistador. Cada ponto de dados fornece informações sobre como os entrevistadores estão seguindo o plano da pesquisa e as instruções para selecionar os entrevistados aleatoriamente.
P: Você já encontrou casos em que os entrevistadores não seguiram o plano? Se sim, o que você fez?
Houve casos em que as atualizações do trabalho de campo sugerem que um ou mais entrevistadores não estavam seguindo os protocolos adequados. Nesses casos, pausamos o trabalho de campo dessa pessoa e solicitamos informações adicionais sobre o desempenho do entrevistador, como a duração das entrevistas e o tempo entre as entrevistas. Tentamos recriar o registro de trabalho diário de um entrevistador e determinar se ele ou ela está conduzindo as entrevistas de forma adequada, considerando a extensão da pesquisa e a geografia do país.
Em alguns casos, a evidência sugere que um entrevistador fabricou respostas ou não selecionou aleatoriamente os entrevistados conforme necessário. Exigimos que os entrevistadores suspeitos de má conduta sejam dispensados e os dados que coletaram sejam descartados. Na maioria dos casos, nossas investigações revelam entrevistadores bem-intencionados que encontraram desafios no campo. Em uma pesquisa latino-americana, por exemplo, as atualizações do trabalho de campo nos alertaram que tivemos menos entrevistas com jovens do que o esperado. Isso se deveu ao desconforto das entrevistadoras quanto a se aventurarem em certos bairros à noite, o horário nobre para contatar homens em idade produtiva. Nesse caso, corrigimos o problema estendendo as entrevistas para o horário diurno nos fins de semana e reenfatizando a importância de contatar repetidamente respondentes selecionados aleatoriamente para obter sua cooperação.
P: Após a conclusão do trabalho de campo, quais etapas o Pew Research Center executa para garantir a qualidade dos dados da pesquisa?
O conjunto de dados é analisado primeiro por nossos parceiros de pesquisa, empresas que foram contratadas especificamente por sua considerável experiência em pesquisas em países relevantes e por seus relacionamentos estabelecidos com empresas locais. Nossos parceiros de pesquisa nos alertam se suspeitarem, ou se as revisões sugerirem, que os procedimentos de trabalho de campo não foram seguidos. Nesse caso, trabalhamos com a empresa local para resolver o problema. Nossos parceiros são nossa primeira linha de revisão.
Assim que recebemos um conjunto de dados, implementamos uma série de procedimentos de controle de qualidade. Prestamos atenção especial ao 'paradata' para todas as entrevistas concluídas: Procuramos especificamente por padrões suspeitos na duração da entrevista, local e horário, bem como carga de trabalho por entrevistador e taxa de sucesso. Analisamos mais de perto as respostas registradas por um entrevistador específico se encontrarmos anomalias que não podem ser explicadas logicamente e procuramos respostas inconsistentes, valores extremos e registros duplicados. Este processo de revisão é iterativo. Mesmo que uma primeira análise do paradata não suscite preocupações, voltamos e nos aprofundamos mais no paradata se subsequentemente encontrarmos padrões curiosos nas respostas às perguntas da pesquisa.
P: Você procura registros duplicados e o que sua presença indica?
Uma das muitas maneiras pelas quais a qualidade dos dados de pesquisa pode ser afetada é pela inclusão de registros duplicados - onde um conjunto de respostas é incluído mais de uma vez. Isso pode ser não intencional, um acidente de programação ou entrada de dados. Como alternativa, pode ser fraude intencional, o caso de um funcionário - seja entrevistador, supervisor ou executivo da empresa - intencionalmente cortando arestas para cumprir as cotas, evitar aborrecimentos ou reduzir custos.
Atualmente, verificamos as entrevistas nas quais há uma correspondência de 100% em todas as variáveis (incluindo as questões demográficas) e os casos em que há uma correspondência de 100% apenas nas variáveis substantivas. Detectamos registros duplicados em alguns casos, embora eles normalmente representem 1% ou menos de uma amostra. Nossa suposição padrão é que eles são uma indicação de um erro e, portanto, tendemos a descartá-los.
É difícil determinar se um registro duplicado é devido a fraude intencional, mesmo após uma investigação extensa. O maior problema com a identificação de dados falsificados de qualquer tipo é que geralmente não existe uma arma fumegante no conjunto de dados. Dados falsificados podem assumir qualquer forma, não apenas uma duplicação direta (ou quase) de respostas. Os entrevistadores que procuram cortar atalhos podem inventar os entrevistados ou entrevistar amigos em vez dos entrevistados selecionados. Por causa disso, quando suspeitamos de um problema com um conjunto de dados, analisamos todos os dados disponíveis, incluindo paradata, dados substantivos, dados sobre entrevistadores e dados de contato, para avaliar o que pode ter dado errado. Em seguida, trabalhamos com nossos parceiros de pesquisa e empresas locais para investigar o que aconteceu e a melhor forma de resolver o problema.
P: O Pew Research Center pode ter certeza de que suas pesquisas internacionais estão livres de dados falsos?
A falsificação de dados é uma preocupação antiga na comunidade de pesquisa de opinião. É definitivamente uma preocupação para nós, pois conduzimos pesquisas em todo o mundo, muitas vezes por meio de entrevistas pessoais que não podemos monitorar diretamente. Nossa experiência sugere que nunca podemos estar totalmente certos de que nossos conjuntos de dados estão 100% livres de dados falsos ou abaixo da média. Mas estamos confiantes de que adotamos medidas sólidas para garantir que os dados que divulgamos sejam da mais alta qualidade.
P: O que vem a seguir em termos de melhoria da qualidade dos dados em pesquisas internacionais?
Estamos constantemente procurando maneiras de melhorar nosso controle de qualidade. Estamos entusiasmados com o potencial de substituir questionários em papel por tablets em pesquisas face a face para permitir o rastreamento detalhado em nossas próximas rodadas de pesquisas internacionais.
Uma inovação especialmente promissora é a medição do tempo ao longo da pesquisa em estudos face a face com tablets ou outros dispositivos portáteis. Essa medição pode incluir a extensão total de uma pesquisa, do início ao fim, mas também indicar o tempo que leva para completar as seções de um questionário ou para responder a uma pergunta específica. O tempo das subseções do questionário pode ser usado para avaliar se o respondente ou entrevistador pode ter tido dificuldades incomuns com uma seção específica, ou se o entrevistador pode não ter tido o tempo apropriado para fazer certas perguntas.
Outra via interessante com dispositivos de computador de mão é o uso de gravações de voz em pontos aleatórios da entrevista. Isso permite que o pesquisador confirme se o entrevistado leu as perguntas corretamente e se o mesmo entrevistado está respondendo às perguntas ao longo da pesquisa.
Como acontece com qualquer medida de qualidade de dados, essas novas abordagens precisam ser avaliadas junto com uma variedade de outros indicadores para entender como eles contribuem para analisar a qualidade dos dados de nossa pesquisa. Os resultados desta pesquisa devem informar o projeto e a estrutura de pesquisas futuras, levar a novas abordagens para treinar e motivar entrevistadores e auxiliar no desenvolvimento de novos e, esperançosamente, melhores métodos de controle de qualidade.
