Tema 3: A humanidade e o julgamento humano são perdidos quando os dados e a modelagem preditiva se tornam fundamentais
Muitos entrevistados disseram que, como as pessoas colocam muita fé nos dados, a humanidade pode se perder. Alguns argumentaram que, como as corporações de tecnologia e, às vezes, os governos são mais freqüentemente as agências por trás do código, os algoritmos são escritos para otimizar a eficiência e a lucratividade sem pensar muito sobre os possíveis impactos sociais da modelagem e análise de dados. Esses entrevistados disseram que as pessoas são consideradas um 'input' para o processo e não são vistas como seres reais, que pensam, sentem, mudam. Alguns disseram que conforme o processo evolui - isto é, conforme os algoritmos começam a escrever os algoritmos - os humanos podem ser deixados completamente de fora do loop, deixando 'os robôs decidirem'.
Existem muitos lugares onde os algoritmos são benéficos e úteis, mas até agora, nenhum deles levou em consideração as necessidades reais dos humanos.
Um entrevistado anônimo escreveu: 'Simplesmente não podemos capturar todos os elementos de dados que representam a vastidão de uma pessoa e as necessidades, desejos, esperanças e desejos dessa pessoa. Quem está coletando quais pontos de dados? Os seres humanos que os pontos de dados refletem sabem mesmo, ou eles apenas concordaram com os termos de serviço porque não tinham escolha real? Quem está ganhando dinheiro com os dados? Como alguém pode saber como seus dados estão sendo massageados e com que propósito justificar para que fim? Não há transparência e a supervisão é uma farsa. Está tudo escondido da vista. Sempre estarei convencido de que os dados serão usados para enriquecer e / ou proteger outras pessoas e não o indivíduo. É a natureza básica do sistema econômico em que vivemos '.
Peter EckartO comentário reflete a atitude de muitos nesta campanha: 'Podemos criar algoritmos mais rápido do que podemos entender ou avaliar seu impacto. A expansão das relações mediadas por computador significa que temos menos interesse no impacto individual dessas inovações e mais nos resultados agregados. Portanto, interpretaremos o impacto individual negativo como o dano colateral necessário de 'progresso'.
Axel Bruns, professor do Digital Media Research Center da Queensland University of Technology, disse: 'Existem desvantagens competitivas, regulatórias e legais que resultariam de uma maior transparência por parte do operador da plataforma e, portanto, há um incentivo apenas para ofuscar ainda mais o presença e operações de modelagem algorítmica de processos de comunicação. Isso não quer dizer que tais algoritmos sejam inerentemente 'ruins', no sentido de que prejudicam a comunicação eficaz; algoritmos como o PageRank do Google fazem claramente o trabalho que lhes é pedido, por exemplo, e no geral tornaram a web mais útil do que seria sem eles. Mas, sem mais transparência, os usuários comuns devem simplesmente confiar que o algoritmo faz o que deve fazer e não distorce inadequadamente os resultados que fornece. Esses algoritmos continuarão a ser incorporados profundamente em todos os aspectos da vida humana e também gerarão volumes crescentes de dados em seus campos. Isso continua a aumentar o poder que tais algoritmos já têm sobre como a realidade é estruturada, medida e representada, e o impacto potencial que qualquer erro inadvertido ou deliberado poderia ter nas atividades do usuário, no entendimento da sociedade sobre si mesma e nas decisões corporativas e governamentais. Mais fundamentalmente, a crescente importância dos algoritmos para tais processos também transfere maior importância para os dados de origem com os quais eles trabalham, ampliando os impactos negativos das lacunas e exclusões de dados ”.
Um defensor da comunidade anônima disse: 'Há muitos lugares onde os algoritmos são benéficos e úteis, mas até agora, nenhum deles leva em consideração as necessidades reais dos humanos. Os recursos humanos são uma entrada em uma equação de negócios no momento, não reais, pensando, sentindo simbiotes aos olhos dos negócios '.
Um professor associado anônimo de ciência política em uma grande universidade dos Estados Unidos disse: 'Algoritmos são a tipificação da tecnologia. Eles são um instantâneo do comportamento influenciado por fatores contextuais que nos dão uma visão muito limitada de um indivíduo. Typecasting é uma maneira ruim de ser considerado pelos outros e é uma maneira ruim de 'ser'.
Rebecca MacKinnon, diretor do projeto Ranking Digital Rights na New America, comentou: 'Algoritmos impulsionados pelo aprendizado de máquina rapidamente se tornam opacos até mesmo para seus criadores que não entendem mais a lógica que está sendo seguida para tomar certas decisões ou produzir certos resultados. A falta de responsabilidade e opacidade completa é assustadora. Por outro lado, os algoritmos revolucionaram a relação dos humanos com as informações de maneiras que salvaram vidas e fortaleceram e continuarão a fazê-lo '.
Programar principalmente em busca de lucros e eficiências é uma ameaça
O potencial para o bem é enorme, mas o potencial para mau uso e abuso, intencional ou inadvertido, pode ser maior.
Um grande número de entrevistados expressou profunda preocupação sobre os principais interesses atendidos por algoritmos em rede. A maioria manteve seus comentários anônimos, o que faz sentido, uma vez que um número significativo de participantes dessa campanha são empregados ou são financiados de alguma forma por interesses corporativos ou governamentais. Como observou um presidente e CEO anônimo de uma organização sem fins lucrativos: 'O potencial para o bem é enorme, mas o potencial para uso indevido e abuso, intencional ou inadvertido, pode ser maior'. (Todos os entrevistados não identificados pelo nome nesta seção enviaram seus comentários anonimamente.)
Um participante descreveu o futuro desta forma: 'Os aspectos positivos são todos bastante simples, por exemplo, você obtém a resposta mais rápido, o produto é mais barato / melhor, o resultado se ajusta melhor às necessidades. Da mesma forma, os negativos são em sua maioria muito fáceis de prever também, dado que são fundamentalmente pessoas / organizações em posições de poder que acabarão definindo os algoritmos. Motivos de lucro, acúmulo de poder, etc., são forças reais que não podemos ignorar ou eliminar. Aqueles que criam os algoritmos têm uma participação no resultado, então eles são, por definição, tendenciosos. Não é necessariamente ruim que esse viés esteja presente, mas tem efeitos dramáticos nas saídas, entradas disponíveis e vários efeitos de rede que podem ser totalmente indiretos e / ou imprevistos pelos desenvolvedores do algoritmo. À medida que a interconexão de nosso mundo aumenta, prever com precisão as consequências negativas fica cada vez mais difícil, por isso nem mesmo é necessário que um mau ator crie condições deletérias para grupos de pessoas, empresas, governos, etc. '
Outro entrevistado disse: 'Os algoritmos atenderão às necessidades de interesses poderosos e funcionarão contra os menos poderosos. É claro que já estamos vendo isso começar a acontecer. Hoje, há uma tonelada de dados valiosos sendo gerados sobre a demografia, comportamentos, atitudes, preferências das pessoas, etc. O acesso a esses dados (e suas implicações) não é distribuído uniformemente. É propriedade de interesses corporativos e governamentais e, portanto, será utilizado para fins que atendam a esses interesses. E então o que já vemos hoje é que, na prática, coisas como ‘preços diferenciados’ não ajudam o consumidor; ajuda a empresa que está vendendo coisas, etc '.
Um arquiteto de TI da IBM disse: 'As empresas buscam maximizar o lucro, não maximizar o bem social. Pior, eles reempacotam a busca de lucro como um bem social. Estamos nos aproximando da crista de uma onda cujo lado negativo é uma nova ética de manipulação, marketing, quase total falta de privacidade. Todos os modelos preditivos, sejam usados para conveniência pessoal ou ganância corporativa, requerem grandes quantidades de dados. As formas de obter isso são, na melhor das hipóteses, suavemente transformadoras da cultura e, do lado inferior, destruidoras da privacidade. O uso de big data pelas corporações prevê o uso de técnicas duvidosas por parte da polícia (por exemplo, arraias) para invadir a privacidade. As pessoas muito rapidamente veem a aplicação da lei como 'levando os bandidos o que lhes é devido', mas muitos casos mostram abusos, identidade errada, erro humano resultando em brutalidade policial contra inocentes e assim por diante. É improvável que mais dados atenuem os erros; em vez disso, alimentará o overreach da polícia, assim como alimenta o overreach corporativo '.
Outro entrevistado disse: 'Tudo será voltado para servir aos interesses das corporações e do 1%. A vida se tornará mais conveniente, mas à custa da discriminação, da compartimentação da informação e da engenharia social ”.
É difícil imaginar que os algoritmos considerem os benefícios para a sociedade quando produzidos por empresas com foco em resultados fiscais de curto prazo.
Um professor observou: 'Se corporações globais enxutas e eficientes são a definição de sucesso, o futuro será principalmente positivo. Se manter uma classe média com oportunidades de sucesso é o critério pelo qual os algoritmos são julgados, isso não será provável. É difícil imaginar que os algoritmos considerem os benefícios sociais quando são produzidos por corporações focadas em resultados fiscais de curto prazo.
Um desenvolvedor de software sênior escreveu: 'Algoritmos inteligentes podem ser incrivelmente úteis, mas algoritmos inteligentes normalmente não têm o imediatismo preto-e-branco que os gananciosos, estúpidos e míopes preferem. Eles preferem algoritmos estúpidos e excessivamente amplos com taxas de sucesso mais baixas e efeitos colaterais massivos porque tendem a ser muito mais fáceis de entender. Como resultado, os seres humanos individuais serão agrupados como gado, com resultados previsivelmente destrutivos no domínio da lei, justiça social e economia. Por exemplo, eu vejo o processamento algorítmico de dados sociais levando ao 'Pré-crime', onde cidadãos comuns e inocentes são presos porque acionaram muitas bandeiras em uma rede de dados do Departamento de Justiça '.
Um analista de negócios comentou: 'O resultado será positivo para a sociedade em uma base corporativa / governamental e negativo em uma base individual'.
Um membro do corpo docente de uma universidade dos EUA disse: 'Historicamente, os algoritmos são desumanos e desumanizantes. Eles também são irresistíveis para aqueles que estão no poder. Por métricas utilitárias, a tomada de decisão algorítmica não tem desvantagens; o fato de que resulta em injustiças perpétuas contra as próprias classes minoritárias que cria será ignorado. O Bem Comum tornou-se uma relíquia desacreditada e obsoleta do Passado '.
Outro entrevistado que trabalha para uma grande fundação global de direitos humanos disse: 'Já existem algoritmos implementados para controlar o que vemos nas redes sociais e como o conteúdo é sinalizado nas mesmas plataformas. Isso é perigoso o suficiente - introduzir algoritmos no policiamento, na saúde e nas oportunidades educacionais pode ter um impacto muito mais grave na sociedade '.
Um professor anônimo de produção e teoria da mídia advertiu: 'Embora esteja começando a haver uma resposta dos cidadãos aos algoritmos, eles tendem a ser vistos como neutros, se é que são vistos. Como os algoritmos são altamente proprietários e altamente lucrativos, eles são altamente perigosos. Com a TV, os EUA desenvolveram a televisão pública, que tipo de espaço público de propriedade da informação será possível? É a questão chave para qualquer pessoa interessada no futuro das sociedades democráticas ”.
Estamos entrando a todo vapor em um território do qual deveríamos nos aproximar hesitantemente.
David Golumbia
David Golumbia, um professor associado de estudos digitais na Virginia Commonwealth University, escreveu: 'Os supostos benefícios do processamento algorítmico são extremamente exagerados e os danos são drasticamente subestimados. O processamento algorítmico de muitas maneiras priva os indivíduos e grupos da capacidade de conhecer e gerenciar suas vidas e responsabilidades. Mesmo quando os aspectos do controle algorítmico são expostos a indivíduos, eles normalmente não possuem o conhecimento necessário para entender quais são as consequências desse controle. Isso já é amplamente evidente na forma como a pontuação de crédito tem sido usada para moldar a sociedade por décadas, a maioria das quais têm sido extremamente prejudiciais, apesar do sistema de crédito ter algum benefício para indivíduos e famílias (embora a provisão consistente de crédito além do que a renda pode suportar permanece um problema persistente e destrutivo). Estamos entrando a todo vapor em um território que deveríamos abordar com hesitação, se é que o faríamos, e na medida em que são levantadas, as preocupações sobre esses desenvolvimentos são normalmente descartadas de imediato por aqueles que mais têm a ganhar com esses desenvolvimentos ”.
Um professor anônimo da University of California-Berkeley observou: 'Algoritmos estão sendo criados e usados amplamente por empresas. Os interesses da economia de mercado não são os mesmos das pessoas sujeitas à tomada de decisão algorítmica. Os custos e a romantização da tecnologia conduzirão cada vez mais à adoção de algoritmos em vez de tomadas de decisão baseadas no homem. Alguns terão impactos positivos. Mas os negativos são potencialmente enormes. E não vejo nenhum tipo de mecanismo de supervisão que possa funcionar '.
Joseph Turow, um professor de comunicação da Universidade da Pensilvânia, disse: 'Um problema é que, mesmo que tornem algumas tarefas mais fáceis para os indivíduos, muitos algoritmos irão prejudicar sua autonomia usando os dados das interações para traçá-los, pontuá-los e decidir quais opções e oportunidades apresentá-los a seguir com base nessas conclusões. Tudo isso será realizado por algoritmos proprietários que não estarão abertos à compreensão e supervisão adequadas, mesmo pelos indivíduos que são pontuados '.
Karl M. de Metro, um pesquisador sociológico e diretor do Boletim de Sociologia Metodológica, Ecole Normale Supérieure de Paris, disse: 'A questão é realmente,' o efeito líquido geral da próxima década de chefes será positivo para os indivíduos e a sociedade ou negativo para os indivíduos e sociedade? 'Boa sorte com aquele'.
Às vezes, os algoritmos fazem suposições falsas que colocam as pessoas em uma câmara de eco / sistema de entrega de anúncios que não é realmente adequado para elas. Um engenheiro de uma organização governamental dos EUA reclamou: 'Alguns trabalhos ficarão mais fáceis, mas a definição de perfis também. Eu, pessoalmente, muitas vezes sou identificado erroneamente como um tipo racial, partido político, etc., por meu gênero, endereço, carreira, etc., e bombardeado com publicidade e spam para essa pessoa. Se eu tivesse um perfil social aberto, eu teria esse luxo - ou tudo agora 'combinaria' com qualquer artigo que li recentemente '?
Um entrevistado anônimo escreveu: 'Uma questão importante é: até que ponto o aumento do uso de algoritmos encoraja uma forma comportamental de pensar os humanos como criaturas de estímulo e resposta, capazes de ser manipulados e cutucados, em vez de entidades complexas com imaginação e pensamento? É possível que uma onda de algoritmosização desencadeie novos debates sobre o que significa ser uma pessoa e como tratar outras pessoas. Philip K. Dick nunca foi tão relevante '.
Evan Selinger, professor de filosofia no Instituto de Tecnologia de Rochester, escreveu: 'Quanto mais conselho algorítmico, tomada de decisão algorítmica e ação algorítmica que ocorre em nosso nome, mais corremos o risco de perder algo fundamental sobre nossa humanidade. Mas porque ser 'humano' é um conceito contestado, é difícil fazer um caso convincente de quando e como nossa humanidade está realmente diminuída e quanto dano cada diminuição traz. Somente quando uma pesquisa melhor sobre essas questões estiver disponível, uma resposta sólida poderá ser fornecida sobre se resultados mais positivos ou negativos surgem ”.
Algoritmos manipulam pessoas e resultados, e até mesmo 'leem nossas mentes'
Os entrevistados registraram temores sobre a facilidade com que interesses poderosos podem manipular pessoas e resultados por meio do projeto de inteligência e ferramentas em rede.
Michael Kleeman, membro sênior da Universidade da Califórnia-San Diego, observou: 'Nas mãos daqueles que usariam essas ferramentas para controlar, os resultados podem ser dolorosos e prejudiciais'.
A ameaça é a liberdade.
Peter Levine
Peter Levine, professor e reitor associado de pesquisa do Tisch College of Civic Life, da Tufts University, observou: 'O que me preocupa é a capacidade dos governos e grandes empresas de agregar informações e obter informações sobre os indivíduos que podem usar para influenciar esses indivíduos de maneiras que são muito sutis para serem notados ou contrariados. A ameaça é a liberdade '.
Jornalista freelancerMary K. Prattcomentou, 'Algoritmos têm a capacidade de moldar as decisões dos indivíduos sem que eles sequer saibam, dando àqueles que controlam os algoritmos (em como eles são construídos e implantados) uma posição injusta de poder. Portanto, embora essa tecnologia possa ajudar em muitas áreas, ela afasta a tomada de decisões individuais sem que muitos percebam '.
Martin Shelton, Knight-Mozilla OpenNews Fellow no The Coral Project + New York Times, escreveu: 'Os valores dos povos informam o design de algoritmos - quais dados eles usarão e como usarão os dados. Com muita frequência, vemos que os algoritmos reproduzem os preconceitos dos designers, reduzindo decisões criativas e complexas a decisões simples baseadas em heurísticas. Essas heurísticas não favorecem necessariamente a pessoa que interage com elas. Essas decisões normalmente levam os criadores de software a não otimizar para experiências qualitativas, mas, em vez disso, otimizar para taxas de cliques, visualizações de página, tempo gasto na página ou receita. Essas decisões de design significam que os algoritmos usam heurísticas (às vezes mal colocadas) para decidir em quais artigos de notícias podemos estar interessados; pessoas com quem devemos nos conectar; produtos que devemos comprar '.
Chris Showell, um pesquisador independente de informática em saúde com base na Austrália, disse: 'A organização que desenvolve o algoritmo tem capacidade significativa para influenciar ou moderar o comportamento daqueles que confiam na saída do algoritmo. Dois exemplos atuais: manipulação do processo exibido em mercados online e uso de algoritmos 'secretos' na avaliação de beneficiários do bem-estar social. Haverá muitos outros nos próximos anos. Será um desafio, mesmo para usuários bem treinados, entender como um algoritmo pode avaliá-los ou manipular seu comportamento. Os usuários desfavorecidos e com baixo nível de instrução provavelmente ficarão completamente desprotegidos '.
EscritorJames Hintoncomentou, 'O fato de a internet poder, por meio de algoritmos, ser usada quase para ler nossas mentes, significa que aqueles que têm acesso aos algoritmos e seus bancos de dados têm uma vasta oportunidade de manipular grandes grupos populacionais. O tão falado ‘experimento’ conduzido pelo Facebook para determinar se ele poderia manipular as pessoas emocionalmente por meio de adulteração deliberada de feeds de notícias é apenas um exemplo do poder e da falta de ética que podem ser exibidos.
Um presidente anônimo de uma empresa de consultoria disse: 'O LinkedIn tenta me manipular para me beneficiar dos contatos dos meus contatos e muito mais. Se todos estiverem usando ou manipulando uns aos outros intencionalmente, isso é aceitável? Precisamos ver inovações mais honestas e geradoras de confiança e menos truques de design manipulativos corporativos. Alguém me disse que algum dia apenas os ricos não terão smartphones, sugerindo que comprar de volta o tempo em nossos dias logo se tornará a chave para estilos de vida de qualidade em nossa era de sobrecarga de informações. A que custo e com quais 'melhores práticas' para o uso de nosso tempo recuperado por dia? A questão geral é se bons ou maus comportamentos irão predominar globalmente '. Este consultor sugeriu: 'Uma vez que as pessoas entendam quais algoritmos as manipulam para gerar receitas corporativas sem beneficiar os usuários, elas buscarão sistemas de algoritmos mais honestos que compartilhem os benefícios da maneira mais justa possível. Quando todos, globalmente, estiverem online, outros 4 bilhões de alunos jovens e pobres estarão online. Um sistema pode se tornar viral para ganhar trilhões em receitas anuais com base em micropagamentos devido ao grande volume. Exemplo: o aplicativo denumerator do Facebook remove os aspectos manipulativos do Facebook, permitindo que os usuários retornem ao comportamento mais tipicamente social '.
Vários entrevistados expressaram preocupação sobre um determinado setor - as seguradoras. Um entrevistado anônimo comentou: 'A crescente migração de dados de saúde para o reino de' big data 'tem potencial para o cenário de pesadelo deGattacaescrito real '.
Nossa inteligência artificial é tão boa quanto podemos projetá-la. Se os sistemas que usamos atualmente não evoluem com nossas necessidades, os algoritmos serão inúteis na melhor das hipóteses, e prejudiciais na pior.
Masha Falkov
Masha Falkov, artista e soprador de vidro, disse, 'É importante moderar algoritmos com julgamento humano e compaixão. Já vemos todos os dias como as seguradoras tentam se esforçar para não pagar pelo procedimento médico de alguém. Todo o sistema de saúde nos EUA é um hospício atualmente moderado por indivíduos que secretamente escolhem se rebelar contra sua tirania. Médicos que lutam para que seus pacientes recebam os remédios de que precisam, operadoras de seguradoras que decidem não negar o serviço ao paciente, sob risco de seu próprio emprego. Nossa inteligência artificial é tão boa quanto podemos projetá-la. Se os sistemas que estamos usando atualmente não evoluírem com nossas necessidades, os algoritmos serão inúteis na melhor das hipóteses, e prejudiciais na pior ”.
Arquiteto de sistemasJohn Sniadowskiobservou: 'A modelagem preditiva tornará a vida mais conveniente, mas, ao contrário, limitará as escolhas e confinará os indivíduos em classes de pessoas das quais não há como escapar. A modelagem preditiva é imparável porque os negócios internacionais já enxergam enormes vantagens financeiras com o uso de tais técnicas. Um exemplo disso é o seguro em que o risco agora está sendo eliminado em busca de lucros, ao invés do conceito original de seguro ser risco compartilhado. As pessoas estão se tornando impossíveis de serem seguradas por causa de sua localização geográfica ou posição social. Os prêmios são ponderados contra indivíduos em decisões de controle sobre as quais o indivíduo não tem controle e, portanto, não pode melhorar sua situação ”.
Ryan Sweeney, diretor de análises da Ignite Social Media, comentou: 'Cada ser humano é diferente, então um algoritmo em torno da assistência médica pode ajustar o plano de tratamento de um paciente. Também pode ter o potencial de servir aos interesses da seguradora em relação ao paciente ”.
Tudo isso levará a uma sociedade imperfeita, mas inevitável, movida pela lógica
Alguns que avaliaram os impactos dos algoritmos na próxima década expressaram a opinião de que eles não são confiáveis, 'superestimados' e 'frios', dizendo que 'dão uma falsa impressão' de eficácia e 'não são facilmente sujeitos a crítica'. Um entrevistado anônimo disse: 'Não é que os algoritmos sejam o problema; é que pensamos que com dados suficientes teremos sabedoria. Vamos nos tornar dependentes de 'algoritmos' e dados e isso levará a expectativas problemáticas. Então é quando as coisas vão dar errado '.
As pessoas vão esquecer que os modelos são apenas uma aproximação da realidade.
Jason hong
Jason hong, um professor associado da Carnegie Mellon University, disse: 'As pessoas vão esquecer que os modelos são apenas uma aproximação da realidade. O velho ditado de lixo que entra, lixo que sai ainda se aplica, mas a quantidade de dados e a velocidade dos computadores podem dar a falsa impressão de correção. Como um exemplo trivial, existem histórias de pessoas que seguem o GPS muito de perto e acabam entrando em um rio '.
Um PhD anônimo em ciência da computação observou: “Os algoritmos normalmente não possuem fundamentos empíricos suficientes, mas recebem maior confiança dos usuários. Eles são vendidos em excesso e empregados em funções além de sua capacidade ”.
Bob Frankston,pioneira da Internet e inovadora de software, disse, 'Os aspectos negativos dos algoritmos superam os positivos. Continua a haver pensamento mágico assumindo que se os humanos não intervirem, a 'coisa certa' acontecerá. Uma espécie de insetos do ouro modernos que presumem que o uso do ouro como moeda impede a intervenção humana. Algoritmos são o novo ouro, e é difícil explicar por que omédia'Bom' está em conflito com o 'bom' individual. '
Um respondente anônimo observou: 'Algoritmos são opacos e não estão facilmente sujeitos à crítica. As pessoas acreditam facilmente que são científicas. Assistência à saúde - não há um único estudo que mostre melhora clínica a partir do uso do prontuário eletrônico e, em vez de economizar custos, aumentou-os. Os recursos que vão para lá são recursos que não vão para o atendimento ao paciente. Escolha do consumidor - vemos apenas o que podemos ver nos mercados em que fomos segmentados. Conforme essa segmentação aumenta, nossas escolhas diminuem. A consolidação corporativa também diminui as escolhas. Da mesma forma notícias, oportunidades, acesso. Big data pode ser útil - como rastrear epidemias - mas também pode ser devastador porque existe uma grande lacuna entre os indivíduos e a pessoa estatística. Não devemos construir a política social apenas com base na média estatística, mas, sim, com uma visão de toda a população. Portanto, estou inclinado a acreditar que o big data nos leva a Júpiter, pode nos ajudar a lidar com as mudanças climáticas, mas não aumentará a justiça, a justiça, a moralidade e assim por diante '.
B. Remy Cross, um professor assistente de sociologia na Webster University em Missouri, disse: 'Algoritmos em particular são propensos a uma espécie de tehcno-fetichismo onde são vistos como perfeitamente imparciais e supremamente lógicos, quando freqüentemente não são nada disso'.
Um desenvolvedor de tecnologia anônimo comentou: 'Algoritmos superestimarão a certeza com que as pessoas têm convicções. A maioria das pessoas é um tanto insegura, mas os algoritmos tentam defini-lo estimando sentimentos / crenças. Se eu 'meio que gosto' de algo, estou sujeito a ser agrupado com amantes fervorosos dessa coisa '.
Alguns disseram que a aura da lógica digital definitiva já é difícil de superar. Um consultor de segurança de software anônimo lamentou a falta de processos de apelação rápidos e justos para decisões automatizadas. 'Já é quase impossível corrigir um relatório de crédito incorreto, apesar da existência de leis claras que exigem suporte para fazê-lo. Parece improvável que problemas semelhantes sejam fáceis de corrigir no futuro, a menos que uma regulamentação significativa seja adicionada em torno de tais sistemas. Tenho esperança de que os benefícios sejam significativos, mas espero que as desvantagens sejam muito mais óbvias e fáceis de detectar do que as vantagens.
Alguns entrevistados disseram que os gerentes humanos irão ignorar as necessidades das pessoas ou deixá-las mais desacompanhadas à medida que a inteligência da máquina assumir mais tarefas. Um participante anônimo comentou: 'O uso de algoritmos criará uma distância daqueles que tomam decisões corporativas e da decisão real que é tomada. Isso resultará na negação plausível de que um gerente não controlou ativamente o resultado do algoritmo e, como resultado, ele não é responsável pelo resultado quando ele afeta o público ou os funcionários.
Outro participante anônimo escreveu: “As desvantagens são quaisquer situações que não se enquadrem em um conjunto padrão de critérios ou envolvam julgamentos - grandes sistemas não lidam bem com situações excepcionais e tendem a ser bastante inflexíveis e complicados de navegar. Vejo muitos problemas em termos de conexões entre os provedores de serviços e o público que eles atendem por causa da falta de empatia e interação básica. É difícil planejar as experiências das pessoas quando as experiências vividas das pessoas para quem se planeja são estranhas ao próprio paradigma experiencial '.
Um cientista da computação anônimo escreveu: “A indústria de tecnologia está sintonizada com a lógica do computador, não com sentimentos ou resultados éticos. O paradigma da 'produtividade' industrial está ficando sem utilidade, e precisamos de um novo que seja centrado em questões mais humanas '.
James McCarthy, um gerente, comentou: 'Às vezes acontecem coisas que não podem ser explicadas nem mesmo por um conjunto de regras suficientemente complexas, e me preocupo que aumentar nossa dependência da tomada de decisão algorítmica também criará uma visão cada vez mais redutiva da sociedade e do comportamento humano '.
Um respondente anônimo disse: 'Um algoritmo é tão bom quanto o filtro pelo qual é submetido e a interpretação aplicada a ele. Muitas vezes tomamos algoritmos como base de fato, ou o mesmo que estatística, o que não é verdade. São formas de coletar informações em assuntos. O excesso de confiança nisso e a má interpretação de para que foram criados deve levar a problemas na próxima década ”.
Alguns temem que as pessoas possam perder capacidades sofisticadas de tomada de decisão e inteligência local
Desde os primeiros dias da adoção generalizada da Internet, alguns expressaram preocupações de que a dependência em rápida evolução do aumento da inteligência por meio de algoritmos tornará os humanos menos capazes de pensar por si próprios. Alguns entrevistados nesta campanha notaram que isso provavelmente teria um impacto negativo nas capacidades do indivíduo.
Amali De Silva-Mitchell, um futurista e consultor, escreveu: 'A modelagem preditiva limitará a autoexpressão individual, portanto, a inovação e o desenvolvimento. Ele vai cultivar uma população alimentada pela colher, com os da elite sendo os inovadores. Haverá uma perda nas complexas habilidades de tomada de decisão das massas. Reis e servos serão feitos e a oportunidade de diversificação perdida e, então, talvez até mesmo soluções inovadoras globais perdidas. Os custos desses sistemas serão altos demais para serem revertidos se construídos em um nível básico. A tendência atual em direção ao uniforme será a ruína, e não a construção, de plataformas que podem se comunicar com tudo para que a inovação seja deixada como a chave e as pessoas possam obter as melhores oportunidades. Algoritmos não são o problema, o problema é um algoritmo padrão '.
A tomada de decisão automatizada reduzirá a necessidade percebida de pensamento crítico e solução de problemas.
Um entrevistado anônimo disse: 'A tomada de decisão automatizada reduzirá a necessidade percebida de pensamento crítico e solução de problemas. Receio que isso aumente a confiança na autoridade e torne as decisões de todos os tipos mais opacas ”.
Dave McAllister, diretor da Philosophy Talk, disse: 'Vamos nos encontrar automaticamente agrupados em classes (sistema de castas) por algoritmos. Embora possa aumentar nossa eficácia em encontrar as informações de que precisamos enquanto nos afogamos em um mundo de big data, também limitará o escopo da síntese e da descoberta acidental '.
Giacomo Mazzoneescreveu: 'Infelizmente, a maioria dos algoritmos que serão produzidos nos próximos 10 anos virão de empresas globais em busca de lucros imediatos. Isso acabará com a inteligência local, habilidades locais, línguas minoritárias, empreendedorismo local, porque a maioria dos recursos disponíveis será drenada pelos concorrentes globais. O dia em que um 'ministro dos algoritmos para uma vida melhor' será criado provavelmente será tarde demais, a menos que novas formas de economia social compartilhada surjam, trabalhando em 'algoritmos para a felicidade'. Mas isso provavelmente levará mais de 10 anos ' .
Jesse Drew, um professor de mídia digital da University of California-Davis, respondeu, 'Certamente algoritmos podem tornar a vida mais eficiente, mas a desvantagem é o enfraquecimento dos padrões de pensamento humano que dependem de serendipidade e criatividade'.
Ben Railton, um professor de inglês e estudos americanos na Fitchburg State University em Massachusetts, escreveu: 'Algoritmos são uma das partes menos atraentes tanto de nossa cultura digital quanto do capitalismo do século 21. Eles não permitem identidade e perspectiva individual. Em vez disso, eles contam com os tipos de categorizações e estereótipos de que precisamos desesperadamente para ir além ”.
Miles Fidelman, arquiteto de sistemas, analista de políticas e presidente do Center for Civic Networking, escreveu: 'Em geral, as ferramentas irão beneficiar desproporcionalmente aqueles que têm razões comerciais para desenvolvê-las - pois terão a motivação e os recursos para desenvolver e implementar ferramentas mais rapidamente' .
Um entrevistado alertou sobre as motivações iminentes para aplicar algoritmos de forma mais vigorosa que limitarão a liberdade de expressão.Joe McNamee, diretor executivo da European Digital Rights, comentou: 'Os estudos de Cambridge / Sanford sobre curtidas no Facebook, o experimento de humor do Facebook, o experimento de participação eleitoral do Facebook e a análise da capacidade do Google de influenciar as eleições aumentaram as demandas para que as empresas online se envolvam mais no policiamento do discurso online. Todos levantam questões existenciais para a democracia, a liberdade de expressão e, em última análise, a capacidade da sociedade de evoluir. A gama de benefícios 'úteis' é ampla e interessante, mas não pode compensar este custo potencial '.
As soluções devem incluir a incorporação do respeito pelo indivíduo
Algoritmos requerem e criam dados. Grande parte da economia da Internet foi construída por grupos que oferecem o uso 'gratuito' de ferramentas online e acesso ao conhecimento, minimizando ou mascarando o fato de que as pessoas estão realmente prestando atenção e / ou lealdade - bem como acesso algorítmico completo a todos suas informações privadas mais percepções cada vez mais invasivas sobre suas esperanças, medos e outras emoções. Alguns dizem que já chegou ao ponto em que os coletores de dados por trás dos algoritmos provavelmente sabem mais sobre você do que você mesmo.
A principal desvantagem é que, para que esses algoritmos funcionem, eles precisam saber muito sobre a vida pessoal de todos.
Rob Smith
Rob Smith, desenvolvedor de software e ativista de privacidade, observou: 'A principal desvantagem é que, para que esses algoritmos funcionem, eles precisam saber muito sobre a vida pessoal de todos. Em um ecossistema de serviços concorrentes, isso exigirá o compartilhamento de muitas informações com esse mercado, o que pode ser extremamente perigoso. Estou confiante de que podemos, com o tempo, desenvolver maneiras de atenuar alguns dos riscos, mas também exigiria uma aceitação coletiva de que alguns de nossos dados estão à disposição se quisermos aproveitar os melhores serviços. Isso me traz talvez a maior desvantagem. Pode ser que, com o tempo, as pessoas sejam - em termos práticos - incapazes de optar por sair desses mercados. Eles podem ter que pagar um prêmio para contratar serviços da maneira antiga. Em resumo, tais abordagens têm um potencial para melhorar as coisas, pelo menos para membros relativamente ricos da sociedade e possivelmente para os desfavorecidos. Mas o preço é alto e há o perigo de entrarmos nas coisas como sonâmbulos sem perceber o que isso nos custou '.
David Adams, vice-presidente de produto de uma nova startup, disse: 'O alcance em propriedade intelectual em geral será um grande problema em nosso futuro'.
Alguns entrevistados sugeriram que garantir aos indivíduos os direitos e o controle sobre sua identidade é crucial.Garth Graham, membro do conselho da Telecommunities Canada, escreveu: 'Os positivos futuros só superarão os negativos se a simulação de mim mesmo - a antecipação de meus comportamentos - que os algoritmos tornam possíveis for minha, independentemente de quem os criou'.
Paul Dourish, professor de informática do chanceler da University of California-Irvine, disse: 'Mais precisa ser feito para dar às pessoas uma visão e controle sobre o processamento algorítmico - o que inclui algoritmos que funcionam em nome dos indivíduos em vez de em nome das corporações'.
Marshall Kirkpatrick, co-fundador da Little Bird, anteriormente com ReadWriteWeb e TechCrunch, disse, 'A maioria das entidades comerciais escolherá implementar algoritmos que os atendam mesmo às custas de seus constituintes. Mas alguns priorizarão usuários e esses serão muito grandes. Encontrar uma fração das oportunidades que surgem exigirá uma tremenda expansão da imaginação '.
Susan Price, arquiteto digital e estrategista da Continuum Analytics, comentou: 'A proveniência transparente dos dados e a disponibilidade transparente de algoritmos e análises serão cruciais para criar a confiança e o diálogo necessários para manter esses sistemas justos e relativamente livres de preconceitos. Essa transparência necessária está em conflito com os objetivos das empresas que desenvolvem um valor único em propriedade intelectual e marketing. O maior desafio é alinhar os humanos com o que esperamos coletivamente que nossos dados mostrem no futuro - estabelecer metas que reflitam uma sociedade justa e produtiva e, em seguida, sistemas que medem e apóiam essas metas '.
Um entrevistado sugeriu que as equipes de redação de algoritmos incluem pensadores humanistas.Dana Klisanin, fundador e CEO da Evolutionary Guidance Media R&D, escreveu: 'Se quisermos pesar o impacto geral do uso de algoritmos nos indivíduos e na sociedade para' o positivo supera o negativo ', as grandes corporações precisarão se responsabilizar por meio do aumento de seus negócios responsabilidade social. Em vez de receita ser o único retorno, eles precisam contratar filósofos, especialistas em ética e psicólogos para ajudá-los a criar algoritmos que fornecem retornos que beneficiam os indivíduos, a sociedade e o planeta. A maioria dos indivíduos nunca fez um curso de ‘Raça, Classe e Gênero’ e não reconhece a discriminação, mesmo quando é generalizada e visível. A natureza oculta dos algoritmos significa que os indivíduos e a sociedade levarão muito mais tempo para exigir transparência. Ou, para dizer de outra forma: Não sabemos o que não sabemos '.
Um entrevistado anônimo que trabalha para o governo dos EUA citou as dificuldades em servir ao bem da sociedade e aos direitos do indivíduo, escrevendo: 'Há uma tensão entre os desejos dos indivíduos e as funções da sociedade. A justiça para os indivíduos vem às custas de algumas escolhas individuais. É difícil saber como os algoritmos acabarão no espectro entre favorecer os indivíduos em vez de uma sociedade em funcionamento, porque a tendência dos algoritmos é a inteligência artificial. A IA provavelmente não funcionará da mesma forma que a inteligência humana ”.
Conforme o código assume sistemas complexos, os humanos são deixados de fora do loop
À medida que os sistemas inteligentes e as redes de conhecimento se tornam mais complexos e a inteligência artificial e a computação quântica evoluem na próxima década, os especialistas esperam que os humanos sejam deixados cada vez mais 'fora do circuito' à medida que mais e mais aspectos da criação e manutenção do código são assumidos pela inteligência da máquina.
A maioria das pessoas simplesmente perderá o arbítrio, pois não entende como as escolhas estão sendo feitas por elas.
A grande maioria dos comentários nesse sentido veio de especialistas que permaneceram anônimos. Uma amostra dessas declarações:
Um diretor executivo de uma organização de software de código aberto comentou: 'A maioria das pessoas simplesmente perderá a agência porque não entende como as escolhas estão sendo feitas por elas'.
Um entrevistado disse: 'Tudo será' personalizado 'com base no pensamento de grupo dos algoritmos; a destruição do pensamento livre e do pensamento crítico garantirá que a melhor geração esteja totalmente subordinada à classe dominante ”.
Outro entrevistado escreveu: 'Os sistemas atuais são projetados para enfatizar a coleta, concentração e uso de dados e algoritmos por relativamente poucas instituições grandes que não prestam contas a ninguém e / ou se são teoricamente responsáveis, são tão difíceis de responsabilizar que são praticamente inexplicável para ninguém. Essa concentração de dados e conhecimento cria uma nova forma de vigilância e opressão (em grande escala). É a antítese de todo o tecido subjacente da antiga forma social consagrada na Constituição dos Estados Unidos e em nosso atual sistema político-econômico-jurídico e prejudica-o. Só porque as pessoas nãoVejoisso acontecendo não significa que não esteja, ou que não esteja minando nossas estruturas sociais. Isto é. Isso só vai piorar porque não há 'crise' para responder e, portanto, não apenas nenhuma motivação para mudar, mas todos os motivos para mantê-la - especialmente pelos poderosos interesses envolvidos. Estamos caminhando para um pesadelo '.
Um editor científico observou: 'O sistema vencerá; as pessoas perderão. Chame-o de ‘O Algoritmo Egoísta’; algoritmos irão naturalmente encontrar e explorar nossas compulsões comportamentais embutidas para seus próprios propósitos. Não somos nem mais consumidores. Como se isso já não fosse degradante o suficiente, é comum observar que hoje em dia as pessoas são o produto. O uso crescente de 'algoritmos' apenas - muito rapidamente - acelerará essa tendência. A Web 1.0 era realmente muito empolgante. A Web 2.0 oferece mais conveniência para os cidadãos que precisam pegar uma carona para casa, mas ao mesmo tempo - e é ingênuo pensar que isso seja uma coincidência - é também um arauto monetário, corporatizado, enfraquecedor e canibalizante do Fim dos Tempos. (Exagero para o efeito. Mas não muito '.)
Um analista de TI sênior disse: 'A maioria das pessoas usa e usará no futuro os algoritmos como uma facilidade, sem entender seus componentes internos. Corremos o risco de perder nossa compreensão e, em seguida, perder a capacidade de passar sem ela. Então, qualquer pessoa nessa situação deixará os robôs decidirem '.
O que acontece quando algoritmos escrevem algoritmos? 'Algoritmos no passado foram criados por um programador', explicou um entrevistado anônimo. 'No futuro, eles provavelmente serão desenvolvidos por máquinas inteligentes / de aprendizagem. Podemos nem mesmo entender de onde vieram. Isso pode ser positivo ou negativo dependendo da aplicação. Se as máquinas / programas tiverem autonomia, isso será mais negativo do que positivo. Os humanos perderão sua agência no mundo '.
E então existe a possibilidade de uma aquisição da IA.
Seti gershberg, produtor executivo e diretor criativo do Arizona Studios, escreveu: 'No início, a mudança será um benefício líquido. Mas quando a IA começa a passar no teste de Turing e potencialmente se torna senciente e provavelmente superinteligente, levando a uma explosão de inteligência conforme descrito por Vernor Vinge, é impossível dizer o que eles farão ou não. Se pudéssemos desenvolver uma relação simbiótica com a IA ou nos fundirmos com eles para produzir uma nova espécie homem-máquina, seria provável que os humanos sobrevivessem a tal evento. No entanto, se não criarmos uma razão para a IA precisar dos humanos, eles irão nos ignorar ou nos eliminar ou nos usar para um propósito que não podemos imaginar. Recentemente, o CEO da Microsoft apresentou uma lista de 10 regras para IA e humanos seguirem em relação à sua programação e comportamento como um método para desenvolver um resultado positivo tanto para o homem quanto para as máquinas no futuro. No entanto, se os próprios humanos não podem seguir as regras estabelecidas para o bom comportamento e uma sociedade positiva (ou seja, os Dez Mandamentos - não em um sentido religioso, mas de bom senso), eu faria a pergunta, por que a IA seguiria ou deveria seguir as regras os humanos se impõem a eles '?
