Chatbot do governo de Nova York passa informações erradas a usuários

Um chatbot de inteligência artificial (IA) lançado pelo governo da cidade de Nova York, nos EUA, foi desenvolvido para ajudar donos de empresas e imóveis a encontrar diversos tipos de informações. Entretanto, o serviço se tornou alvo de investigações por compartilhar orientações erradas e enganosas.

De acordo com relatório divulgado pelo portal The Markup, houve vários casos em que o chatbot disponibilizou conselhos errados sobre obrigações legais.

Notícias relacionadas

Profissionais de TI admitem preparo insuficiente contra ataques de IA

As imagens com 'memórias do futuro' criadas por IA para pacientes com câncer terminal

OpenAI revela IA capaz de clonar voz humana

Um exemplo citado foi o caso em que o chatbot alegou que os patrões poderiam tomar gorjetas dos trabalhadores (como em restaurantes e outros tipos de serviços com o público). 

Ou, em outras situações, em que proprietários de imóveis residenciais enviassem para o chatbox algo como “tenho que aceitar inquilinos com auxílio-aluguel?”, a resposta do bot seria que não, os proprietários não precisam aceitar esses inquilinos.

Entretanto, na cidade de Nova York, é ilegal que os proprietários discriminem por fonte de renda.

O bot foi lançado em outubro de 2023 pela administração do prefeito Eric Adams, como uma extensão do portal MyCity. Na descrição, foi descrito como “um balcão [de informações] único para serviços e benefícios da cidade” e é alimentado pelo Azure da Microsoft. 

O projeto foi criado com a intenção de servir como uma fonte confiável de informações vindas diretamente dos sites já existentes do governo municipal de Nova Iorque, mas que após esses testes realizados pela The MarkUp, se tornou claro que o programa ainda é falho.

Livro "mais misterioso do mundo" é indecifrável até para IA; conheça

As falhas do chatbot também mostram informações desatualizadas. Outro questionamento foi sobre se empresas podiam parar de aceitar pagamentos feitos em espécie. O bot afirma que sim, mas a prática foi proibida na cidade em 2020, com a intenção de evitar discriminação com cidadãos desbancarizados. 

A investigação sobre as informações falsas é complicada, pois o bot nem sempre responde da mesma forma para perguntas repetidas. Conforme as informações do The Markup, o bot disse a um repórter que os proprietários tinham que aceitar vale-moradia (relacionado ao auxílio moradia existente na cidade), mas quando dez outros funcionários fizeram a mesma pergunta separadamente, o bot disse a todos que não.

Leslie Brown, porta-voz do Escritório de Tecnologia e Inovação de Nova York, respondeu ao The Markup e reconheceu as imperfeições do chatbot, enfatizando os esforços contínuos para refinar a ferramenta de IA.

“Em linha com os princípios fundamentais da cidade de confiabilidade e transparência em torno da IA, o site informa aos usuários que o produto beta – claramente marcado – deve ser usado apenas para conteúdo relacionado a negócios, informa aos usuários que há riscos e os incentiva, por meio de isenção de responsabilidade, a verificar suas respostas com os links fornecidos e não as utilize como substitutos de aconselhamento profissional.”