⚠️ O texto abaixo contém linguagem ofensiva contra mulheres utilizada por usuários de fóruns
Ferramentas de inteligência artificial têm sido usadas para remover roupas de fotografias de mulheres, efetivamente criando nudes falsas. Essas deep fakes são frequentemente ilegais, e podem ser usadas para expor, constranger e assediar pessoas, as quais não deram consentimento para ter suas imagens exploradas dessa forma.
-1hruaaaoul35j.png)
O Núcleo acessou fóruns anônimos de discussão na internet (os chamados chans) repletos dessas imagens, e revela que usuários desses grupos estão utilizando promissoras tecnologias de geração de imagens com a finalidade de simular a nudez de mulheres que não escolheram posar nuas. Entre os exemplos encontrados estão artistas e até uma deputada.
"Postem seus requests [pedidos] de nudes, e eu vou me esforçar o máximo para fazer um deep nude decente", escreveu o criador de um dos tópicos que se destinam a tarefa em 11.jan.2022.
A sequência desse post fez com que dezenas de usuários enviassem fotografias de todos os tipos, desde mulheres de biquíni na praia até selfies no espelho com vestidos.
Horas depois, outro usuário publicava fotografias que mostravam aquelas mesmas mulheres completamente nuas — algumas de maneira muito convincente.
As imagens que simulavam a nudez dessas mulheres passaram a ser, então, alvo de misoginia de alguns participantes.
Um dos usuários publicou a fotografia de uma mulher vestindo shorts de academia e cropped. "Única foto que tenho dessa vagabunda. Se puder contribuir com minha punheta ficarei eternamente grato", escreveu.
"Essa deu um trabalho do cão", respondeu um dos autores do tópico, com uma imagem simulando a mesma mulher nua.
"Muito obrigado mestre", agradeceu o requisitante.
É ✷ importante ✷ porque...
Embora promissoras, ferramentas de geração de imagens por inteligência artificial ainda têm aplicações poucos exploradas, nem sempre da forma pretendida pelos criadores
Deep fakes podem ser usadas para constranger e assediar mulheres
Mesmo sem regulamentação da inteligência artificial, a prática é crime.
Duas advogadas especialistas em direito digital e uma especialista em segurança digital consultadas pelo Núcleo foram unânimes em afirmar que a prática constitui violação do código penal.
A Lei 13772, de 2018, acrescentou um novo artigo no código penal que proíbe a produção de imagens e vídeos com nudez ou relação sexual sem a autorização dos envolvidos.
Os condenados por esse artigo podem enfrentar penas de seis meses a um ano e multa. Já a Lei 13718, de 2018, proibiu a disponibilização, transmissão, distribuição ou publicação de qualquer tipo de pornografia sem o consentimento dos envolvimentos. A pena é de um a cinco anos.
Além disso, advogada Patricia Peck, especialista em direito digital, acrescenta que as deepfakes pornográficas ainda podem afetar a honra, intimidade e a privacidade da pessoa.
"O deepfake pode ser considerado dentro dos crimes contra a honra, como calúnia, difamação e injúria). Também é uma forma de falsa identidade, uma identidade fictícia feita com a exposição de imagem de uma outra pessoa", explica Peck.
Trend bizarra
No começo dessa nova onda, dentro dos chans que o Núcleo acompanhou, os resultados das montagens inicialmente tinham vários defeitos — como pedaços de roupa que não eram excluídos, borrões e áreas pixeladas — e era possível identificar que se tratava de uma tentativa mal sucedida de montagem.
Porém, ao longo de 2022 — o principal tópico do fórum já tem mais de um ano de funcionamento —, a habilidade dos autores e da própria inteligência artificial melhorou, tornando muitos defeitos quase imperceptíveis.
No final de 2022, um usuário publicou uma fotografia de uma mulher usando biquíni preto e uma camisa de botões aberta. "Te peço humildemente pra você nudificar essas vagabundas aqui. Serei eternamente grato!"
O resultado se passa como se fosse um nude real.
E não são apenas fotografias de biquíni ou shorts que conseguem ser transformadas em nudes. Neste ano, um usuário publicou uma fotografia de uma mulher vestida com uma saia preta, regata branca e sapato de salto alto tirada em um espelho de shopping. Menos de duas horas depois, um outro usuário respondeu com a fotografia da mulher completamente nua no meio do shopping.
"Pode não ser perfeito, mas enrijeceu meu pau mesmo assim, muito agradecido", agradeceu o primeiro usuário.
Esse tipo de manipulação de imagem é sempre feito sem o consentimento da mulher e, na maioria dos casos, tem como finalidade um desejo sexual.
"É ilegal, é subjugação daquela outra pessoa", explica Lorena Caminhas, doutora em Ciências Sociais pela Universidade Estadual de Campinas (Unicamp) e pesquisadora de gênero e mídia na Universidade de São Paulo (USP).
A inteligência artificial e suas produções ainda não são regulamentadas no Brasil - e nem em nenhuma parte do mundo. Isso faz com que seja ainda mais difícil investigar, identificar e responsabilizar os criadores desse tipo de conteúdo e as empresas que fornecem as ferramentas para isso.
"O desafio de proteger a sociedade dos potenciais danos da IA não é trivial. As iniciativas de autorregulamentação por parte das gigantes de tecnologia não tiveram êxito", explica Dora Kaufman, pesquisadora sobre os impactos éticos e sociais da inteligência artificial e professora da Pontifícia Universidade Católica de São Paulo (PUC-SP).
"Ainda não temos um marco regulatório da IA em nenhum lugar do mundo, temos somente propostas regulatórias em debate e diretrizes legais pontuais"- Dora Kaufman, pesquisadora
Saiba Mais - Regulamentação de IA
Em 2021, a Câmara dos Deputados aprovou um projeto de lei para criar o marco regulatório da inteligência artificial. A proposta está atualmente no Senado. A comissão responsável promoveu dezenas de encontros reunindo juristas e pesquisadores e elaborou uma proposta que deve ser discutida ainda este ano.
"Uma das complexidades de lidar com a inteligência artificial é que as implementações desses sistemas, em sua maioria, geram externalidades negativas e positivas", diz Kaufman.
A mesma tecnologia que possibilitou a criação das deep fakes também possibilitou avanços na medicina. "Por exemplo, melhorando uma imagem de tomografia computadorizada ou ressonância magnética em baixa resolução ao minimizar o tempo do paciente submetido à radiação", explica a pesquisadora. A União Europeia deve votar uma proposta de regulamentação da inteligência artificial em março deste ano e os Estados Unidos segue discutindo o tema.
No caso dos conteúdos pornográficos sem consentimento, não é apenas produção que precisa ser atacada. "A distribuição, o consumo e a circulação tem um impacto imenso para as vítimas", comenta Caminhas. "Então é primeiro barrar a distribuição desse conteúdo e depois atacar a produção", complementa. As propostas de regulação das redes sociais e da internet continuam em discussão nos vários órgãos do governo brasileiro — mas ainda sem data para serem definidas.
Revenge porn
Com uma simples busca reversa de imagens utilizando Google e outros serviços, o Núcleo conseguiu identificar os perfis de algumas destas mulheres nas redes sociais — o que abre caminho para que outros usuários dos fóruns também as identifiquem e possam fazer algum tipo de chantagem ou, ainda, distribuição das fotografias para conhecidos das mulheres - a exemplo do que acontece com "pornogragia de vingança" (ou, em inglês, revenge porn)
As deep fakes estão entrando em um campo moral, em um campo das convenções, que vai ter uma tendência à vexação das mulheres porque a nudez feminina é vista como um problema moral- Lorena Caminhas, pesquisadora
Um relatório feito pela consultoria DeepTrace, em 2019, mostrou que as deep fakes pornográficas representavam 96% do total de deep fakes.
O Pornhub, um dos maiores sites de pornografia do mundo, decidiu que vídeos gerados digitalmente não são consensuais e baniu o conteúdo da plataforma.
Já no concorrente Xvideos, e em outros tantos sites que aparecem com uma simples pesquisa no Google, ainda é possível encontrar milhares de vídeos falsos mostrando famosas em atos sexuais de que nunca participaram.
Em janeiro, o streamer de jogos Brandon "Atrioc" Ewing declarou, durante uma de suas transmissões ao vivo, que ele consumia vídeos pornográficos deep fakes que tinham o rosto de streamers mulheres - algumas até suas conhecidas.
Uma das streamers afetadas, Sweet Anita afirmou não ter aceitado milhões de dólares para entrar na indústria pornográfica, mas que um viciado em pornografia aleatório pode usar o corpo dela sem o consentimento.
"Não sei se eu choro, quebro coisas ou dou risada nesse ponto", disse.
Can we finally admit revenge porn was never women's fault? Deepfake porn is proof that men will do this to us no matter how we behave. Revenge porn exists because we stigmatize women's sexuality, and because there is huge demand for non-consensual images.
— Sweet Anita (@sweetanita) February 11, 2023
O que fazer em caso de abuso
Caso sejam vítimas desses crimes, a orientação é preservar evidências e registrar um boletim de ocorrência.
"Para fazer a denúncia, é importante coletar todo tipo de evidência que comprove: capturas de tela, prints, URLs, etc.", explica Juliana Cunha, diretora da SaferNet Brasil.
"Paralelamente, ela deve ir numa delegacia, tanto de crimes cibernéticos quanto da mulher, e registrar queixa", complementa Alice Lana, mestre em direito das relações sociais e autora do livro "Mulheres Expostas: revenge porn, Gênero e o Marco Civil da Internet".
Além das medidas jurídicas, é importante também procurar apoio psicológico. " Sempre aconselho que a mulher busque apoio com uma amiga, um parente ou um profissional. São situações de violência não necessariamente físicas, mas também psicológicas. Então é bom contar com o suporte de alguém", complementa Lana.
O artigo 21 do Marco Civil da Internet também obriga as plataformas a removerem conteúdos que contenham cenas de nudez ou atos sexuais após o pedido das vítimas, sem a necessidade de decisão judicial.
Infelizmente, o caso mostrado pela reportagem não se enquadra nessa categoria porque o site não é regulamentado e está hospedado fora do Brasil.
IA específica
Se você é um usuário frequente das redes sociais, já deve ter se deparado com textos criados pelo ChatGPT, imagens criadas pelo Dall-E, ou ainda visto modificações em fotografias feitas com o aplicativo Lensa.
Os três casos são exemplos de instâncias que usam a inteligência artificial para gerar conteúdo e se popularizaram nos últimos meses, mas utilizam versões proprietárias do software. Essas versões têm controles e salvaguardas centralizados por empresas como a Open AI, que podem mudar configurações e bloquear certos comportamentos.
Mas uma ferramenta específica tem sido apontada para fazer esses nudes: a Stable Diffusion, que tem código aberto e pode ser usada por qualquer um com alguma proficiência com tecnologia.
"Aproveitando, poderia me dizer que programas/técnicas/IAs usa pra fazer um deep nude tão bom? Quero aprender para poder fazer os meus próprios" , disse um dos usuários do fórum.
"É uma IA rodando no meu próprio PC, Stable Diffusion, tem bastante tutoriais na internet, só tem que ter uma GPU com 8GB ou mais de VRAM e os modelos treinados", respondeu outro usuário.
Atualmente, com uma busca no YouTube é possível encontrar dezenas de tutoriais ensinando a instalar e utilizar o Stable Diffusion — o software utilizado para fazer criar os nudes falsos.
O Stable Diffusion gera ou modifica imagens a partir de comandos textuais utilizando inteligência artificial. A grande diferença deste software para outros competidores, como o Dall-E e o aplicativo Lensa, é seu código aberto, que pode rodar diretamente no computador dos usuários — e não em um ambiente virtual controlado pelas empresas.
Isso possibilita que os usuários possam treinar o software com outras imagens além das que já foram usadas na criação do programa. E também que removam os filtros que impedem geração de imagens com nudez, pedofilia, violência e referências ao nazismo, por exemplo.
Ajude o Núcleo a fazer investigações relevantes. Custa apenas R$10.
Quero apoiar o Núcleo"Vimos pessoas de 3 anos e também de 90 anos serem capazes de criar pela primeira vez. Mas também vimos pessoas criarem coisas incrivelmente odiosas", disse Emad Mostaque, CEO da Stability AI, financiadora do projeto ao portal The Verge.
Desenvolvido a partir de pesquisas de uma universidade alemã, o projeto integrou diversos grupos que trabalham com inteligência artificial, como Runway, Eleuther AI, LAION e a própria Stability AI. No comunicado de lançamento público do software, em novembro de 2022, a empresa disse que iria disponibilizar mais ferramentas para "maximizar o impacto"e "reduzir potenciais resultados adversos", mas jogou a responsabilidade do conteúdo aos usuários.
"Nós esperamos que todos usem isso de maneira ética, moral e legal e contribuam para a comunidade e para o discurso em torno dela".
Em entrevista ao The Verge, Mostaque foi ainda mais direto: disse que "em última análise, é responsabilidade das pessoas saber se são ética, morais e legais".
No próprio fórum onde as imagens são publicadas, os usuários anônimos trocam dicas sobre quais versões da Stable Diffusion, quais palavras-chaves utilizar para chegar no resultado desejado e quais imagens de modelos farão com que as imagens fiquem mais naturais.
Como fizemos isso
O Núcleo acompanhou três tópicos (ou threads) de um dos chans mais famosos no Brasil por dois meses que tiveram, juntos, centenas de interações. Um chan é um fórum online em que qualquer usuário pode publicar imagens, textos e vídeos de forma anônima.
Com origem japonesa, os chans se popularizaram em todo o mundo pela liberdade de expressão e criação de memes. Porém, com o tempo e anonimato — não é necessário criar conta para utilizar os fóruns —, esses ambientes passaram a ter uma cultura de ódio a mulheres, negros, judeus e outras minorias.
Além disso, os chans são gerenciados e mantidos pelos próprios usuários, normalmente em servidores fora do país de origem. Isso dificulta investigação policial e responsabilização pelos conteúdos.
Outro fórum de discussão online, o Reddit — que é propriedade de um conglomerado de comunicação norte-americano —, chegou a proibir as deepfakes pornográficas.
Edição Sérgio Spagnuolo
Por conta de frequentes ameaças e assédios direcionados contra jornalistas que reportam sobre chans, o repórter que apurou para esta matéria optou por não ter seu nome revelado. A fim de manter a credibilidade da reportagem, o texto é assinado pelo editor, que checou todas as informações.
Texto editado às 18h32 de 27.fev.2023 para tirar do box e colocar acima no texto uma importante parte sobre regulação de inteligência artificial e o que mulheres podem fazer em caso de abuso.
-r178witgbucj.jpg)
