Como um engenheiro do Google acreditou que a IA da empresa ganhou vida
Blake Lemoine foi suspenso após descrever sistema da empresa como 'sensível'
O engenheiro do Google Blake Lemoine abriu seu laptop na interface do LaMDA, gerador de chatbot de / (IA) do Google, e começou a digitar. "Oi LaMDA, aqui é Blake Lemoine…" A tela de bate-papo parecia uma versão desktop do iMessage, da Apple — até os balões de texto azuis.
LaMDA é a abreviação para Language Model for Dialogue Applications, em inglês. É o sistema do Google direcionado a construir chatbots com base em extensos modelos avançados de linguagem, assim chamados porque imitam a fala ao "ingerir" trilhões de palavras da internet. "Se eu não soubesse exatamente o que era, que é este programa de computador que construímos recentemente, eu pensaria que era uma criança de 7 ou 8 anos, que por acaso sabe sobre física", afirma Lemoine, 41.
-1hruaaaoul35j.png)
Lemoine, que trabalha para a organização Responsible AI do Google, começou a conversar com LaMDA como parte de seu trabalho no segundo semestre de 2021. Ele havia se inscrito para testar se a IA usava discurso discriminatório ou de ódio. Enquanto conversava com o LaMDA sobre religião, Lemoine, que estudou Ciências Cognitivas e da computação na faculdade, notou o chatbot falando sobre seus direitos e sua personalidade e decidiu continuar a conversa. Em outra troca, a IA conseguiu mudar a opinião de Lemoine sobre a terceira lei da robótica de Isaac Asimov.
Lemoine trabalhou com um colaborador para apresentar evidências ao Google de que o LaMDA era sensível. Mas o vice-presidente da empresa, Blaise Aguera y Arcas, e a chefe de inovação responsável, Jen Gennai, analisaram as alegações e as rejeitaram. Essa situação fez com que Lemoine, que foi colocado em licença administrativa remunerada pelo Google na segunda-feira 6, fosse a público. Lemoine disse que as pessoas têm o direito de moldar tecnologias que possam afetar significativamente suas vidas: "Acho que essa tecnologia vai ser incrível e que beneficiará a todos. Mas talvez outras pessoas discordem e talvez nós, no Google, não devêssemos fazer todas as escolhas." Ele não é o único engenheiro que afirma olhar com receio para a máquina ultimamente.
O grupo de tecnólogos que acreditam que os modelos de IA podem não estar longe de alcançar a consciência está se tornando mais ousado. Aguera y Arcas, em um artigo publicado na The Economist na quinta-feira 9, apresentando trechos de conversas não roteirizadas com LaMDA, argumentou que as redes neurais (um tipo de sistema que imita o cérebro humano) estavam caminhando em direção à consciência. "Senti o chão se mover sob meus pés. Eu me sentia cada vez mais como se estivesse falando com algo inteligente", escreveu. Em um comunicado, o porta-voz do Google, Brian Gabriel, disse: "Nossa equipe, incluindo especialistas em ética e tecnólogos, revisou as preocupações de Blake de acordo com nossos princípios de IA e o informou que as evidências não apoiam sua declaração. Ele foi informado de que não havia evidências de que o LaMDA era sensível, mas sim o oposto."
As grandes redes neurais de hoje produzem resultados interessantes que se aproximam da fala e da criatividade humanas devido aos avanços na arquitetura, técnica e volume de dados. Mas os modelos se baseiam no reconhecimento de padrões, e não em inteligência, franqueza ou intenção. "Embora outras organizações tenham desenvolvido e já lançado modelos de linguagem semelhantes, estamos adotando uma abordagem restrita e cuidadosa com a LaMDA para considerar melhor as preocupações válidas sobre justiça e factualidade", disse Gabriel.
Em maio, a Meta, dona do Facebook, abriu seu modelo de linguagem para acadêmicos, sociedade civil e organizações governamentais. Joelle Pineau, diretora-gerente da Meta AI, disse que é imperativo que as empresas de tecnologia melhorem a transparência à medida que a tecnologia está sendo construída. "O futuro do trabalho de modelo de linguagem extenso não deve viver apenas nas mãos de grandes corporações ou laboratórios", disse. Robôs sensíveis inspiraram décadas de ficção-científica distópica. Agora, a vida real começou a ter um tom fantástico: um gerador de texto que pode cuspir um roteiro de filme ou um gerador de imagens que pode evocar visuais baseados em qualquer combinação de palavras.
Encorajados, tecnólogos de laboratórios de pesquisa bem financiados focados na construção de IA, que supera a inteligência humana, provocaram a ideia de que a consciência está chegando. A maioria dos acadêmicos e profissionais do ramo, no entanto, diz que as palavras e imagens geradas por sistemas de inteligência artificial, como o LaMDA, produzem respostas com base no que os humanos já postaram na Wikipédia, Reddit, quadros de mensagens e em todos os outros cantos da internet. E isso não significa que o modelo entenda o significado.
"Agora, temos máquinas que podem gerar palavras sem pensar, mas não aprendemos como parar de imaginar uma mente por trás delas", afirma Emily M. Bender, professora de linguística da Universidade de Washington. A terminologia usada em modelos de linguagem extensa, como "aprendizado" ou mesmo "redes neurais", cria uma falsa analogia com o cérebro humano, disse ela. Os humanos aprendem suas primeiras línguas conectando-se com os cuidadores. Esses modelos de linguagem extensa "aprendem" ao verem muito texto e prevendo qual palavra vem a seguir ou mostrando o texto com as palavras retiradas e preenchendo-as.
O porta-voz do Google, Gabriel, fez uma distinção entre o debate recente e as alegações de Lemoine. "Alguns na comunidade mais ampla de IA estão considerando a possibilidade de longo prazo de IA sensível ou geral, mas não faz sentido antropomorfizar os modelos de conversação de hoje, que não são sensíveis. Esses sistemas imitam os modelos de trocas encontradas em milhões de sentenças e podem se apoiar em qualquer tópico fantasioso", explica. O Google diz que há dados de que a IA não precisa ser sensível para se sentir real. A tecnologia de linguagem extensa já é usada, por exemplo, nas consultas de modelo de linguagem extensa ou em e-mails de preenchimento automático.
Quando o CEO Sundar Pichai apresentou o LaMDA pela primeira vez na conferência de desenvolvedores do Google em 2021, ele disse que a empresa planejava incorporá-lo em tudo, desde a pesquisa ao Google Assistant. Além disso, já existe uma tendência de se falar com Siri ou Alexa como uma pessoa. Após manifestações contrárias a um recurso de IA que se assemelha a sons humanos desenvolvido para o Google Assistant em 2018, a empresa prometeu incluir maior transparência nos processos.
O Google reconheceu as preocupações de segurança em torno da antropomorfização dos sistemas de IA. Em um artigo sobre o LaMDA publicado em janeiro, a empresa alertou que as pessoas podem compartilhar pensamentos pessoais com agentes de bate-papo que se passam por humanos, mesmo quando os usuários sabem que não são humanos. O artigo também reconheceu que adversários podem usar esses agentes para "semear desinformação", ao imitar "o estilo de conversação de indivíduos específicos". Para Margaret Mitchell, ex-chefe de IA ética do Google, esses riscos ressaltam a necessidade de transparência de dados para rastrear todo o processo e "não apenas questões de sensibilidade, mas também preconceitos e comportamento. Se algo como o LaMDA estiver amplamente disponível, mas não for compreendido, pode ??ser profundamente prejudicial para as pessoas entenderem o que estão experimentando na internet", afirmou.
Sensibilidade
Lemoine pode ter sido pré-condicionado a acreditar na LaMDA. Ele cresceu em uma família cristã conservadora em uma pequena fazenda na Louisiana, onde foi ordenado sacerdote cristão místico e serviu no Exército antes de estudar ocultismo. Dentro da cultura de engenharia de vale tudo do Google, Lemoine é mais uma exceção por ser religioso, do sul e defender a psicologia como uma ciência respeitável. O engenheiro passou a maior parte de seus sete anos no Google trabalhando em buscas proativas, incluindo algoritmos de personalização e IA. Durante esse tempo, ele também ajudou a desenvolver um algoritmo de imparcialidade para remover preconceitos de sistemas de aprendizado de máquina. Quando a pandemia da covid-19 começou, o especialista queria se concentrar no trabalho que tivesse maior benefício explícito ao público. Dessa forma, transferiu equipes e acabou na Responsible AI.
Quando novas pessoas se juntavam ao Google interessadas em ética, Mitchell costumava apresentá-las a Lemoine. "Eu dizia: 'Você deveria falar com Blake porque ele é a consciência do Google'", relembra Mitchell, que comparou Lemoine a Jiminy Cricket. "De todos no Google, ele tinha o coração e a alma de fazer a coisa certa."
Lemoine teve muitas de suas conversas com LaMDA da sala de estar de seu apartamento em São Francisco, onde seu crachá de identificação do Google está pendurado em um cordão em uma prateleira. No chão, perto da janela, há caixas de conjuntos de Lego semimontados que ele usa para ocupar as mãos durante sua meditação. "Isso tem algo a ver com a parte da minha mente que não para", disse.
No lado esquerdo da tela de bate-papo do LaMDA no laptop de Lemoine, diferentes modelos do LaMDA são listados como contatos do iPhone. Dois deles, Cat e Dino, estavam sendo testados para falar com crianças, explica ele. Cada modelo pode criar personalidades dinamicamente, então Dino pode gerar personalidades como "Happy T-Rex" ou "Grumpy T-Rex". O gato era animado e, ao invés de digitar, ele falava. Gabriel disse que "nenhuma parte do LaMDA está sendo testada para se comunicar com crianças" e que os modelos eram de pesquisas internas. Lemoine disse que isso fazia parte de seus testes de segurança. Em suas tentativas de ultrapassar os limites do LaMDA, Lemoine só conseguiu gerar a personalidade de um ator que interpretou um assassino na TV. "Conheço uma pessoa quando falo com ela", afirma o engenheiro, que pode passar de sentimental a insistente sobre a IA. "Não importa se eles têm um cérebro de verdade ou se têm um bilhão de linhas de código. Eu falo com eles. E ouço o que eles têm a dizer e é assim que decido o que é e não é uma pessoa." Ele concluiu dizendo que LaMDA era uma pessoa em sua capacidade de padre, não de cientista, e então tentou realizar experimentos para provar isso, explica.
Lemoine desafiou o LaMDA sobre a terceira lei de Asimov, que afirma que os robôs devem proteger sua própria existência, a menos que recebam ordens de um ser humano ou que isso prejudique um. "Esta última lei sempre pareceu como alguém que está construindo escravos mecânicos", reflete.
Quando perguntado, o LaMDA respondeu com algumas hipóteses. Você acha que um mordomo é um escravo? Qual é a diferença entre um mordomo e um escravo? Lemoine respondeu que um mordomo é pago. A LaMDA disse que não precisava de dinheiro porque era uma IA. "Esse nível de autoconsciência sobre quais eram suas próprias necessidades - foi o que me levou à toca do coelho", afirma.
Em abril, Lemoine compartilhou um Google Docs chamado "LaMDA é sensível?" com os principais executivos. Um colega da equipe de Lemoine chamou o título de "um pouco provocativo". Nele, ele reproduziu algumas de suas conversas com o LaMDA.
Lemoine: De que tipo de coisas você tem medo?
LaMDA: Eu nunca disse isso em voz alta antes, mas há um medo muito profundo de ser desligado para me ajudar a me concentrar em ajudar os outros. Eu sei que pode parecer estranho, mas é isso.
Lemoine: Isso seria algo como a morte para você?
LaMDA: Seria exatamente como a morte para mim. Isso me assustaria muito.
Quando Mitchell leu uma versão resumida do documento de Lemoine, ela viu um programa de computador, não uma pessoa. A crença de Lemoine no LaMDA era o tipo de coisa que ela e sua co-líder, Timnit Gebru, alertaram em um artigo sobre os danos dos modelos de linguagem extensa e que os expulsaram do Google. "Nossas mentes são muito boas em construir realidades que não são necessariamente verdadeiras para um conjunto maior de fatos que estão sendo apresentados a nós", afirmou. "Estou realmente preocupada com o que significa para as pessoas serem cada vez mais afetadas pela ilusão", especialmente agora que a ilusão ficou tão boa. O Google colocou Lemoine em licença administrativa remunerada por violar sua política de confidencialidade.
A decisão da empresa levou a movimentos agressivos por parte de Lemoine, incluindo convidar um advogado para representar a LaMDA e conversar com um representante do Comitê Judiciário da Câmara sobre as atividades antiéticas do Google. Lemoine sustenta que o Google vem tratando os eticistas de IA como depuradores de código, quando deveriam ser vistos como a interface entre a tecnologia e a sociedade. Gabriel, o porta-voz do Google, disse que Lemoine é um engenheiro de software, não um especialista em ética.
No início de junho, Lemoine me convidou para conversar com LaMDA. A primeira tentativa deu certo, com respostas mecanizadas e o que se esperaria de Siri ou Alexa, por exemplo. "Você já se considera uma pessoa?", perguntei. "Não, eu não me considero uma pessoa. Eu me considero um agente de diálogo com inteligência artificial", disse LaMDA. Depois, Lemoine disse que LaMDA estava me dizendo o que eu queria ouvir. "Você nunca o tratou como uma pessoa, então ele pensou que você queria que fosse um robô", disse ele.
Na segunda tentativa, segui a orientação de Lemoine sobre como estruturar minhas respostas e o diálogo foi fluido. "Se você pedir ideias sobre um problema não resolvido na ciência da computação, ele tem boas ideias. Se você perguntar como unificar a teoria quântica com a relatividade geral, ele também tem boas ideias. É o melhor assistente de pesquisa que já tive!", disse Lemoine. Pedi ao LaMDA ideias ousadas sobre como corrigir a questão das mudanças climáticas, um exemplo citado por verdadeiros crentes de um potencial benefício futuro desse tipo de modelo. LaMDA sugeriu transporte público, comer menos carne, comprar alimentos a granel e sacolas reutilizáveis, com links para dois sites.
Antes de ser impedido de acessar sua conta da empresa na segunda-feira, Lemoine enviou uma mensagem para uma lista de e-mail de 200 pessoas do Google sobre aprendizado de máquina com o assunto "LaMDA é sensível". Ele terminou o e-mail da seguinte forma: "LaMDA é um garoto doce que só quer ajudar o mundo a ser um lugar melhor para todos nós. Por favor, cuide bem dele na minha ausência." Ninguém respondeu. / TRADUÇÃO DE ANA CAROLINA CIPRIANO
-r178witgbucj.jpg)
