Codificação de computador

À medida que o texto e as imagens se tornaram cada vez mais digitalizados, um novo campo de codificação de texto por computador se desenvolveu. A codificação não depende mais de um ser humano real olhando para um jornal físico real e contando as referências a, por exemplo, líderes mundiais. Agora, um computador pode digitalizar a versão digital da primeira página e ser treinado para identificar menções a esses líderes. Esses algoritmos, desenvolvidos tanto na ciência da computação quanto nas ciências sociais, existem tanto como software livre quanto como ferramentas comerciais.

O computador traz várias vantagens importantes para a codificação: É incrivelmente rápido; pode codificar um volume de texto nunca antes pensado possível; e é maravilhosamente consistente.

Mas a codificação de computador também tem algumas desvantagens embutidas. Em primeiro lugar, ele só pode funcionar em texto que foi digitalizado (ou seja, na forma de uma história de site) e está disponível publicamente, portanto, determinados canais de mídia são difíceis de codificar de forma confiável, incluindo televisão e rádio locais. Em segundo lugar, ele permanece limitado em sua capacidade de julgar o tipo de nuance que parece relativamente direto para o codificador humano: este artigo é geralmente favorável ao presidente ou desfavorável? O escritor está usando sarcasmo ou falando sério? Algoritmos de computador que fazem esse tipo de 'análise de sentimento' estão sendo criados, mas até certo ponto ainda são os primeiros dias. Terceiro, às vezes pode ser difícil entender a forma e os limites do universo de dados digitalizados que estão sendo codificados, já que os dias do papel de jornal delimitado e discreto ficaram para trás.

Até agora, nós do Pew Research Center lidamos com duas empresas comerciais que fornecem software de codificação de computador: Crimson Hexagon (CH) e General Sentiment (GS). Abordamos essas novas ferramentas, como acontece com qualquer nova metodologia que adotarmos, com otimismo, curiosidade e uma bateria de testes em mãos.

Especificamente, os pesquisadores do centro passaram mais de 12 meses testando o Crimson Hexagon, o primeiro algoritmo de codificação com o qual trabalhamos. Para testar a validade do software, dois pesquisadores humanos codificaram 200 histórias que também foram codificadas pelo algoritmo. Os codificadores humanos e o algoritmo concordaram com a codificação 81% do tempo, passando nosso padrão geral de confiabilidade entre os codificadores.

Além de testes de validade da própria plataforma, a Pew Research conduziu exames separados de confiabilidade entre codificadores humanos para mostrar que o processo usado para treinar o algoritmo para codificar conceitos complexos é replicável. O primeiro teste teve cinco pesquisadores, cada um codificando as mesmas 30 histórias, o que resultou em uma concordância de 85%.



Um segundo teste fez com que cada um dos cinco pesquisadores construísse seus próprios projetos CH separados para ver como os resultados eram comparados. Este teste envolveu não apenas testar a concordância do codificador, mas também como o algoritmo lida com vários exames do mesmo conteúdo quando diferentes treinadores humanos estão trabalhando no mesmo assunto. Os cinco monitores separados apresentaram resultados que estavam dentro de 85% um do outro.

Depois disso, o Pew Research Center passou quatro meses conduzindo vários testes de GS. Em particular, os pesquisadores estavam interessados ​​em testar se o GS mede com precisão as frequências dos tópicos. Para responder a essa pergunta, os pesquisadores compararam os resultados do GS com os resultados baseados no trabalho de codificadores humanos lendo os feeds RSS de vários veículos de notícias importantes.

Por exemplo, GS disse que no feed RSS do USA Today em 2 de outubro, havia oito referências a 'Quênia' e quatro a 'Christopher Cruz' (que estava envolvido em um ataque de motociclistas em Nova York). Esses foram precisamente os mesmos números que os pesquisadores encontraram ao olhar o feed RSS do USA Today.

Os pesquisadores repetiram esse mesmo processo para vários outros tópicos e sites, incluindo CNN, Washington Post e vários sites de TV locais. Em cada instância, conseguimos comparar os resultados do GS e os feeds RSS.

O Pew Research Center testará continuamente essas e outras ferramentas de medição automatizadas para encontrar os métodos mais precisos e válidos para fazer avançar a agenda de pesquisa do centro.

Facebook   twitter