Eliezer Yudkowsky
O traje de carne de Yudkowsky, 2006 (antes de enviar seuconsciênciaem um computador quântico).| Com cuidado, corretamente Menos errado |
 |
| Blues de singularidade |
|
| Antes de Bruce Schneier dormir, ele verifica seu computador em busca de cópias carregadas de Eliezer Yudkowsky. |
Eliezer Yudkowsky (b. 1979) é umAIpesquisador, blogueiro e expoente de humano racionalidade (especificamente, o dele Bayes com base em sua versão). Yudkowsky é cofundador e trabalha no Machine Intelligence Research Institute (antigo Singularity Institute for Artificial Intelligence), uma organização sem fins lucrativos que se preocupa com o conceito conhecido como singularidade .
Yudkowsky também fundou a comunidade de blogsMenos erradocomo um site irmão e um desdobramento do Overcoming Bias, onde ele começou sua carreira de blog com GMU economistaRobin Hanson. Sendo um sujeito idealista que deseja que todos vivam para sempre, ele também tem um interesse excessivo em criónica , e é (provavelmente) vulnerável à cicuta. Como um autodescrito autodidata , ele não tem nenhum treinamento formal nos assuntos sobre os quais escreve.
Conteúdo
AI 'pesquisa'
| Encontre o que você faz de melhor; se o que você faz de melhor é inventar novas matemáticas de inteligência artificial, venha trabalhar para o Singularity Institute. Se você é o melhor banco de investimento, então trabalhe para Wall Street e transfira tanto dinheiro quanto sua mente e permita para o Singularity Institute, onde [ele] será usado por outras pessoas. |
| —Eliezer Yudkowsky sobre como salvar a raça humana. |
Yudkowsky acredita ter identificado um 'grande problema na pesquisa de IA' que ninguém mais havia notado anteriormente. O problema é que não há razão para supor que uma IA se importaria com os humanos ou com o que nos importamos de alguma forma, já que não terá um milhão de anos como uma savanamacacoou um bilhão de anos de evolução em sua composição para construir qualquer moralidade ou aversão em nos matar. Ele também acredita que a IA é iminente. Como tal, descobrir como criar uma AI amigável (FAI) - uma que não nos mate,inadvertidamente ou não- é o Grande Problema que ele decidiu resolver.
O cenário do problema é conhecido como 'AI foom', que é a abreviatura de 'Inteligência Artificial de autoaperfeiçoamento recursivo engendrada singularidade'. É baseado nas ideias que:
- Apesar do progresso glacial na IA até agora, a Singularidade baseada em IA ocorrerá em breve.
- Os AIs gostariam de se aprimorar (e nós gostaríamos que eles fizessem).
- AIs de nível humano ou melhores não poderiam ser presos ou ameaçados de ter seus plugues puxados, porque seriam capazes de falar para se livrar da situação. Curiosamente, Yudkowsky afirma ter testado essa ideia interpretando o papel de IA superinteligente, com um mortal menor fazendo o papel de carcereiro. No entanto - o leitor pode notar o início de um padrão aqui - as transcrições nunca foram publicadas.
- AIs também serão capazes de, em algum ponto, obter controle virtualmente ilimitado sobre o mundo físico por meionanotecnologia.
Amigo dele companheirotransumanista, diretor do Instituto Futuro da Humanidade da Universidade de Oxford, filósofo erisco existencialo teórico Nick Bostrom escreveu uma declaração do tamanho de um livro das ideias acima em seu livro de 2014Superinteligência: caminhos, perigos, estratégias. A tese central de Bostrom parece ser 'você não pode provar que isso não vai acontecer, portanto, você deve se preocupar com isso'. Bostrom credita Yudkowsky na seção de agradecimentos e citações dele no livro.
Como é evidente a partir do diálogo entreLuke Muehlhausere Pei Wang, a concepção de Yudkowsky (e, portanto, de LessWrong) de Inteligência Geral Artificial (AGI) difere totalmente da corrente principalcientíficoe compreensão da pesquisa prática sobre ele. Yudkowsky acredita que um AGI será baseado em alguma forma de teoria de decisão (embora todos os seus exemplos de teorias de decisão sejam computacionalmente intratáveis) e / ou implementará alguma forma de teoria bayesiana lógica (que foi tentado em IA real, mas não escala).
Uma vez que ambos são totalmente abstratosmatemáticofunções, não há razão para um AGI baseado neles compartilhar valores humanos (não que você possa basear um AGI neles). Por este raciocínio, Yudkowsky vê a necessidade de lançar em algum tipo de módulo de moralidade que será de alguma forma imune à alteração, embora o cenário 'foom' que ele tanto teme seja baseado em AGIs que podemreescrever seu próprio código. (Bostrom aponta em seu livro que existem várias situações em que uma IA pode ter um incentivo para alterar seus próprios objetivos finais.) Assim, Yudkowsky vê a necessidade de 'resolver'éticade alguma forma que pode serinformatizado- embora a ética permaneça um problema em aberto na filosofia depois de milhares de anos. Contudo, Prato ,AristóteleseLateralapenasnão eram tão inteligentescomo Yudkowsky acredita que é .
De qualquer forma, a pesquisa real de IA não é baseada na implementação de funções não implementáveis; é baseado na tentativa de reproduzir exemplos conhecidos denaturalinteligência, especialmente humanainteligência, em toda a sua glória confusa; e é baseado no aprendizado.
Além disso, alguns dos críticos de Yudkowsky identificam ameaças mais urgentes do que hostilidade: armamento deliberado de IAs, erros de codificação, os próprios humanos, ciborguização, etc.
Debates de Yudkowsky / Hanson
Economista Robin Hanson , O então co-blogueiro de Yudkowsky, debateu Yudkowsky em 'AI foom' em várias ocasiões. Hanson, que já havia sido um pesquisador de IA por vários anos, escreveu uma série de postagens no blog com Yudkowsky em 2008 e o debateu pessoalmente em 2011. Esses debates foram posteriormente coletados e publicados como um ebook. Em 2014, após ter lido o livro de BostromSuperinteligência, Hanson estava se mantendo firme: ele escreveu outro post no blog intitulado 'Ainda não entendo Foom'. Ele argumentou:
| “Inteligência” significa apenas a capacidade de realizar tarefas mentais / cálculos, calculada em média sobre muitas tarefas. Sempre achei plausível que as máquinas continuarão a fazer mais tipos de tarefas mentais melhor e, eventualmente, serão melhores em quase todas elas. Mas o que eu achei difícil de aceitar é uma 'explosão local'. É aqui que uma única máquina, construída por um único projeto usando apenas uma pequena fração dos recursos mundiais, em um curto espaço de tempo (por exemplo, semanas) deixa de ser tão fraca que normalmente é superada por um único humano com as ferramentas usuais, para assim poderoso que facilmente domina o mundo inteiro. Sim, máquinas mais inteligentes podem aumentar muito as taxas gerais de crescimento econômico e, sim, esse crescimento pode ser desigual. Mas esse grau de irregularidade parece implausivelmente extremo. |
Foi imediatamente após esse debate que Yudkowsky deixou o Overcoming Bias (agora o blog pessoal de Hanson) e mudou as Sequences para LessWrong.
Eles ainda não estavam de acordo em 2016 após a famosa partida Go entre o software Alpha Go do Google e Lee Sedol. Hanson disse que achava que a IA de propósito geral era análoga a estados-nação, exigindo muitos trabalhadores e intercâmbio de ideias, enquanto a IA de propósito especial limitada era análoga a equipes de produto em empresas e deu um critério pelo qual sua teoria poderia, em princípio , ser testado - então Yudkowsky disse que achava que o mundo já teria 'acabado' antes que houvesse uma chance de verificar a teoria de Hanson! Yudkowsky afirmou que diferentes laboratórios de IA estavam fazendo seu próprio treinamento de IA e quase não havia troca depré-treinadomódulos ouespecialistacomponentes. (Contudo,em geralOs componentes de IA são amplamente reutilizados entre empresas.)
Yudkowsky havia anunciado anteriormente sua crença de que se (como de fato aconteceu) Alpha Go derrotasse o grão-mestre Go, isso significaria que a singularidade estava se aproximando - apesar do fato de que as ocasiões anteriores em que os computadores derrotaram os humanos do topo em um jogo de tabuleiro damas e xadrez) ainda deixavam os computadores bem abaixo da inteligência de uma criança humana.
Instituto de Singularidade / MIRI
Em 1998, Eliezer Yudkowsky terminou a primeira versão de 'Coding a Transhuman AI', alternativamente conhecido como 'Notes on the Design of Self-Enhancing Intelligence'. Depois disso, ele passou alguns meses escrevendo notas de design para uma nova linguagem de programação chamada Flare. Posteriormente, ele escreveu 'Plan to Singularity' apresentando a ideia de um Instituto de Singularidade. Em maio de 2000, na reunião do Foresight Institute, a idéia de criar o instituto teve o apoio de outras duas pessoas. Agora, o Singularity Institute foi estabelecido com um site. Em seguida, ele escreveu uma versão revisada de 'Coding a Transhuman AI'. Em 23 de julho, SI iniciou o projeto Flare sob a liderança de Dimitry Myshkin. O projeto foi cancelado em 2003. Desde o início, Eliezer Yudkowsky atribuiu importância à criação de 'AI amigável'. Em 2001, ele escreveu um livro de duração, 'Creating a Friendly AI'.
Em 2004, Eliezer Yudkowsky teve um 'grande insight'. Era a Volição Extrapolada Coerente (CEV). Uma pessoa nem sempre deseja o que é realmente melhor para ela. Mas, Yudkowsky quer que sua IA faça o que é realmente bom para as pessoas. Mas como a IA resolveria o problema? Bem, ele acredita que para encontrar o que é melhor para uma pessoa, a IA faria uma varredura no cérebro da pessoa e faria 'algo complicado' (palavras de Eliezer). Para garantir que a IA seja amigável para todos os humanos, faria isso 'algo complicado' para todos. A quantidade absoluta de poder de computação necessária para fazer isso, é claro, incompreensivelmente grande. Também não temos ideia de como isso seria na realidade, se implementado.
Até 2008 ou 2009, o Singularity Institute era praticamente um show individual. Todas as suas publicações traziam o nome de Eliezer Yudkowksy e não havia nenhum outro funcionário em tempo integral da SI. No entanto, a mudança veio em 2008 com o surgimento deMenos errado. Logo, novas publicações de novos autores como Carl Shulman, N Tarleton e depois de algum tempo Luke Muelhauser começaram a chegar. E isso se tornou a norma, com a maioria dos artigos escritos por pesquisadores recém-empossados.
O novo foco de pesquisa na SI tornou-se a teoria da decisão. Em 2010, Eliezer Yudkowsky publicou Timeless Decision Theory.
Outra coisa se tornou visível naquela época. A colaboração com o Future of Humanity Institute de Nick Bostrom. Vários artigos conjuntos de pesquisadores de SI e pesquisadores de FHI como A. Sandberg, Stuart Armstrong etc. apareceram. Um artigo conjunto de Eliezer Yudkowsky e Nick Bostrom apareceu em 2011. O livro de Bostrom, Superinteligência, de 2014, refere-se a Yudkowsky 15 vezes. Também havia quase 5 páginas sobre Coherent Extrapolated Volition. Em 2009, Jeffery Epstein doou $ 50.000 para o SIAI.
Outros projetos
Ficção de fã
| Oh Deus. O futuro da espécie humana está nas mãos de um cara que escreve fan-fiction crossover. |
| -Scott Alexander |
Para uma visão um pouco mais humorística, mas ainda bastante perspicaz de sua mente, você pode ler seuHarry Potterficção de fã. Yudkowsky não é, de fato, tudo o que investiu no verso de Harry Potter. Ele queria usar a fanfic como uma plataforma para ensinar racionalidade a um público mais amplo, porque sentia que a falta de racionalidade estava fazendo com que as pessoas rejeitassem suas idéias sobre IA e transumanismo. Na história aracionalistaHarry (a quem ele alterou em um avatar de autoria total de Mary Sue) tenta entender Magia enquanto ministrava palestras sobre ciência para os mais velhos e para o público.
É uma ótima leitura para fanfic (embora para melhores resultados, pule direto do capítulo 30 para o capítulo 100) e é muito bem cotada no FanFiction.net. Yudkowsky e seus fãs acreditam que é um material de qualidade Hugo; Yudkowsky pediu a seus fãs que enviassem spam à indicação de Melhor Romance de 2016 (porque após oFilhotes Tristes, enviar spam para os Hugos certamente convencerá as pessoas de que você é um gênio, e não algum tipo de idiota estúpido, embora não tenha entrado na lista. Alguns leitores ficaram menos impressionados, desistindo bem cedo por causa da arrogância e dos sermões de 'Hariezer'. Como o próprio Yudkowsky observa em uma postagem no Facebook:
Pessoas que têm essa emoção [reguladora de status] deixam comentários irados no Capítulo 6 de HPMOR, onde reclamam sobre o quanto Harry está desrespeitando a Professora McGonagall e eles não podem ler esta história.
Outros não fãs permaneceram para escrever críticas detalhadas e questionar o conteúdo didático. Também foi um pouco hilário quando alguém postou em LessWrong uma análise literária bastante normal do personagem principal como um narcisista, aparentemente sem perceber até que ponto ele era uma pessoa que se insere.
LessWrong pode ter desenvolvido um pouquinho bem pequeno de um culto da personalidade em torno de Yudkowsky, com uma lista de fatos de Eliezer Yudkowsky, mas a fan fictiondeele era aparentemente uma peça, produzida sem seu conhecimento.
Arbital
Depois de se cansar de LessWrong e finalmente terminar sua fanfic de Harry Potter, o próximo projeto de Yudkowsky foi Arbital, um novo e empolgante competidor no mercado educacional com uma abordagem de aprendizado diferente daquela de Wikipedia . Ele propôs pela primeira vez em março de 2015:
Primeiro, projetei uma tentativa de sucessor da Wikipedia e / ou Tumblr e / ou revisão por pares, e um amigo meu está trabalhando em tempo integral para implementá-lo. Se este projeto funcionar nos percentis superiores de sucesso possível (nível HPMOR 'puxa, que com certeza funcionou', o que acontece comigo não mais do que um terço das vezes que tento algo), então pode ajudar a abordar diretamente o núcleo da sociedade problemas (disse ele vagamente com imprecisão deliberada).
Com US $ 300 mil em financiamento, os desenvolvedores foram contratados, com Yudkowsky assumindo uma função de supervisão. Houve uma série de mudanças de direção. Ele foi ao ar no início de 2016 como as Sequências LessWrong em uma garrafa diferente; no final de 2016, ele se autodenominou como 'o lugar para explicações matemáticas intuitivas e de crowdsourcing', que é uma área em que poderia de fato ter tido a chance de superar os notoriamente opacos artigos de matemática da Wikipedia, exceto que não conseguiram encontrar pessoas com conhecimento suficiente para escrevê-los. No início de 2017, a página inicial era um agregador no estilo Slashdot para pessoas da subcultura MIRI; no final de março, eles finalmente admitiram a derrota e transformaram a primeira página em uma plataforma de blog em breve.
Um desenvolvedor de projeto lamentou o estilo de liderança de Yudkowsky.
Também nessa época, ficou claro para nós que as coisas simplesmente não estavam indo bem. O principal problema era que confiamos totalmente no Eliezer para fornecer orientação sobre quais recursos implementar e como implementá-los. Freqüentemente, quando tentávamos fazer as coisas à nossa maneira, éramos derrotados. (Nunca sem um motivo decente, mas acho que em muitos desses casos ambos os lados tinham mérito. Seguir o ponto de vista de Eliezer significava que frequentemente acabávamos bloqueados para ele, porque não podíamos prever os próximos passos.) Além disso, desde Eliezer era a única pessoa usando seriamente o produto, não havia feedback rápido o suficiente para muitos dos recursos. E como não estávamos no escritório todos os dias, éramos frequentemente bloqueados.
Portanto, decidimos resolver o problema com nossas próprias mãos. Nós três decidiríamos o que fazer e ocasionalmente falaríamos com Eliezer para obter sua opinião sobre coisas específicas.
Conquistas
| Por que devo seguir seu Fundador se ele não é um oitavo nível, nada fora de seu próprio culto? |
| —Eliezer Yudkowsky |
Yudkowsky.É importante notar que, assim como nenhum treinamento em seu campo reivindicado, Yudkowsky não tem praticamente nenhuma realização de qualquer tipo a seu crédito, além de obter Peter Thiel para dar-lhe dinheiro. (E passando para os programadores de criptomoedas Ethereum.)
Até mesmo seus fãs admitem 'Um tema recorrente aqui parece ser' planos grandiosos, deixados inacabados '.' Ele afirma ser um programador de computador habilidoso, mas não tem outro código disponível além do Flare, uma linguagem de computador inacabada para programação de IA com sintaxe baseada em XML. (Era para ser a linguagem de programação na qual o SIAI codificaria o Seed AI, mas foi cancelada em 2003). Ele achou necessário contratar programadores profissionais para implementar seu projeto Arbital (veja acima), que acabou falhando.
Yudkowsky é quase inteiramente inédito fora de sua própria fundação e blogs e nunca terminou o ensino médio, muito menos fez qualquer pesquisa real de IA. Nenhuma amostra de sua codificação AI foi tornada pública.
Seus artigos são geralmente publicados pela própria empresa e tiveram um total de duas citações em periódicos arquivados pelo JSTOR (nenhum relacionado à IA) em 2015, uma das quais era de seu amigo Nick Bostrom, do Associado Future of Humanity Institute.
Seus resultados reais e observáveis no mundo real são uma fanfiction popular (que, para seu crédito, ele de fato terminou, o que é incomum para o gênero), um romance erótico pastiche leve, uma grande pilha de postagens de blog e uma pesquisa surpreendentemente bem financiada organização - que produziu menos artigos em uma década e meia do que um único aluno de pós-graduação produz no curso de um doutorado em física, e o último seria revisado por pares .
Gênio ou excêntrico?
Se Yudkowsky se considera um gênio, não está totalmente claro; ele se refere a si mesmo como um gênio seis vezes em sua 'autobiografia'. Ele também afirma ter 'ganho aleatoriamente na loteria do talento para escrever'. Ele acha que a maioria dos PhDs são bastante comuns em comparação com as pessoas com as quais ele convive:
O fato realmente marcante sobre os pesquisadores que aparecem nas conferências da AGI, é que eles são tão ... Não sei como dizer ...
...comum.
Não no nível intelectual dos grandes nomes da corrente principal da Inteligência Artificial. Não no nível de John McCarthy ou Peter Norvig (que eu conheci).
Estou tentado a dizer que um doutorado em IA seria negativamente útil, mas não sou do tipo que censura a juventude imprudente de alguém - só porque você adquiriu um doutorado em IA não significa que deva ser permanentemente desqualificado.
No entanto, ele admite ser menos inteligente do que John Conway. Como um educado em casa indivíduo sem diploma universitário, Yudkowsky podenão estar em uma posição ideal para estimar sua própria inteligência. O fato de muitos de seus seguidores pensarem que ele é um gênio é um eufemismo. Da mesma forma, alguns de seus seguidores zombam dos cientistas tradicionais, basta procurar comentários sobre 'não é inteligente fora do laboratório'e' para um cientista celebridade . ' Yudkowsky acredita que um doutorado em IA é um resultado negativo quando se trata de IA Semente. Enquanto Yudkowsky não atacaEinstein, ele realmente pensa que método científico não pode lidar com coisas como oMuitos mundosInterpretação, bem como sua visão sobre o teorema de Bayes. LessWrong realmente tem seu próprio jargão único.
Só para que o leitor não tenha a impressão equivocada de que Yudkowsky se gaba de seu intelecto incessantemente, aqui ele se vangloria de quão bom e bom ele é:
Levei alguns anos de esforço para limpar as principais emoções (gratificação do ego e assim por diante), após o que eu estava totalmente altruísta em termos de motivações brutas, embora se você me perguntasse, eu teria dito algo ao longo do falas de: 'Bem, é claro que ainda estou aprendendo ... provavelmente ainda há todo esse material desconhecido para limpar ...'
O desacordo com as ideias de Yudkowsky é frequentemente atribuído a 'ceticismo indiscriminado.' Se você não acredita que a criónica funciona, é porque assistiu Penn & Teller: Mentira! . Não é apenas uma possibilidade de você não acreditar que funciona porque falhou nos testes e se tornou improvável pelofatos.
Posições mais polêmicas
Apesar de ser visto como o ser de duas pernas mais inteligente que já andou neste planeta em LessWrong, Yudkowsky (e, por consequência, grande parte da comunidade LessWrong) endossa posições como Verdade que são realmente controversos em seus respectivos campos. Abaixo está uma lista parcial:
- Transumanismo está correto. A criónica pode funcionar um dia. A Singularidade está próxima!
- O teorema de Bayes e o método científico nem sempre levam às mesmas conclusões (e, portanto, Bayes é melhor que a ciência).
- A probabilidade bayesiana pode ser aplicada indiscriminadamente.
- Resultados não computáveis, como complexidade de Kolmogorov, são uma base totalmente razoável para toda uma epistemologia. Solomonoff, baby!
- Interpretação de muitos mundos (MWI) defísica quânticaestá correto (uma 'enterrada'), apesar da falta de consenso entre os físicos quânticos. Yudkowsky diz que a maioria dos físicos teóricos pode ou não compartilhar de sua opinião, acrescentando que as tentativas de pesquisas de opinião conflitam neste ponto.
- Psicologia evolucionária é uma ciência bem estabelecida.
- Filosofia é um assunto tão fácil que ele pode 'reinventá-lo na hora'.
- Utilitarismo é uma teoria correta da moralidade. Em particular, ele propõe uma estrutura pela qual um número extremamente, extremamente grande de pessoas experimentando uma partícula de poeira em seus olhos por um momento poderia ser pior do que um homem sendo torturado por 50 anos. Mais especificamente, Yudkowsky defende utilitarismo total neste experimento de pensamento.
Além disso, embora não esteja muito claro qual é sua posição real sobre isso, ele escreveu uma curta história de ficção científica ondeestuprofoi brevemente mencionado como legal. O fato de o personagem comentando sobre isso não parecer estar se referindo ao sexo consensual da mesma forma que fazemos hoje não evitou uma reação massiva na seção de comentários. Ele respondeu: 'O fato de os comentários terem sido aceitos não é tão bom quanto eu esperava, mas a reação também não foi tão ruim quanto eu temia'. Ele descreveu o mundo da ficção científica que tinha em mente como uma 'Weirdtopia' em vez de umadistopia.
