Imagens de abuso infantil são usadas para treinar modelo de IA; entenda
Pesquisadores de Stanford descobriram que a ferramenta usada pela Stable Diffusion incluía milhares de links de abuso
Um popular conjunto de dados de treinamento para geração de imagens de inteligência artificial (IA) foi descoberto contendo links para imagens de abuso infantil, potencialmente permitindo que modelos de IA criassem conteúdo prejudicial.
O LAION-5B contém mais de 5 bilhões de imagens e legendas relacionadas da Internet. Foi usado para treinar ferramentas de geração de imagens como o Stable Diffusion, da Stability AI.
Uma investigação do Observatório da Internet de Stanford descobriu que o LAION-5B incluía pelo menos 1.679 imagens ilegais extraídas de postagens em mídias sociais e sites adultos populares.
Pesquisa
Os pesquisadores examinaram hashes ou identificadores da imagem para identificar o conteúdo ilegal. Eles foram enviados para plataformas de detecção de conteúdo ilegal infantil como PhotoDNA e verificados pelo Centro Canadense de Proteção Infantil.
O conjunto de dados não mantém repositórios das imagens, mas indexa a Internet e contém links para imagens e texto alternativo que ele coleta.
A versão inicial do Imagen, a ferramenta de inteligência artificial de texto para imagem do Google, foi treinada em uma variante diferente dos conjuntos de dados do LAION chamada LAION-400M. A empresa disse que as iterações subsequentes não usaram conjuntos de dados LAION.
A LAION, a organização sem fins lucrativos que administra o conjunto de dados, disse à Bloomberg que tem uma política de “tolerância zero” para conteúdo prejudicial e que removeria temporariamente os conjuntos de dados online.
Já ao The Verge, a Stability AI disse que possui diretrizes contra o uso indevido de suas plataformas. A empresa afirmou ainda que ao treinar seus modelos com LAION-5B, se concentrou em uma parte do conjunto de dados e o ajustou para segurança.
O relatório dos cientistas de Stanford mostrou que que a presença de conteúdo de exploração sexual infantil não influencia necessariamente o resultado dos modelos treinados no conjunto de dados. Mesmo assim, sempre existe a possibilidade de o algoritmo ter aprendido algo com as imagens.
“A presença de repetidos casos idênticos de imagens de abuso infantil também é problemática, especialmente devido ao reforço de imagens de vítimas específicas”, afirma o documento.
Dificuldades
Os cientistas reconheceram que seria difícil remover totalmente o conteúdo problemático, especialmente dos modelos de IA treinados.
Eles recomendaram que os algoritmos treinados no LAION-5B, como o Stable Diffusion 1.5, “devem ser descontinuados e a distribuição interrompida sempre que possível”.
O Google lançou uma nova versão do Imagen, mas não divulgou em qual conjunto de dados treinou, além de não usar o LAION.
Os procuradores-gerais dos EUA apelaram ao Congresso para criar um comité para investigar o impacto da IA na exploração infantil e proibir a criação de CSAM gerados por IA.
Medidas de mitigação
Existem algumas medidas que podem ser tomadas para mitigar o risco de abuso infantil em conjuntos de dados de IA.
Uma é usar técnicas de filtragem para remover conteúdo ilegal dos conjuntos de dados. Isso pode ser feito usando ferramentas de detecção de conteúdo de exploração infantil ou outras técnicas de aprendizado de máquina.
Outra medida é treinar modelos de IA em conjuntos de dados que são criados especificamente para fins de pesquisa e que não contêm conteúdo ilegal.
-1hruaaaoul35j.png)
-15-06-58_f259155c-t87dut0ystwi.jpg)
