Feia x bonita: como o racismo algorítmico impacta imagem de mulheres negras na internet

"Cabelo ruim", "cabelo bom", "pele feia" e "pele bonita". Você já prestou atenção nas imagens que aparecem na internet quando se busca por essas palavras? É comum encontrar fotos de mulheres negras quando as palavras estão associadas a algo negativo, enquanto as expressões positivas são direcionadas majoritariamente a imagens de mulheres brancas. Em uma rápida pesquisa no Google, um dos maiores buscadores do mundo, ainda é possível visualizar atribuições negativas a mulheres negras. Mas por que isso acontece? Pesquisadores do campo da tecnologia chamam de "racismo algorítmico" o conceito utilizado para nomear a reprodução do racismo estrutural dentro do ambiente digital, conforme detalha o especialista Tarcízio Silva, um dos principais estudiosos do termo no Brasil.

"O racismo algoritmo é o modo pelo qual o racismo estrutural é atualizado e reproduzido por tecnologias digitais algorítmicas, que geralmente são chamadas de inteligência artificial — mas eu não gosto de usar esse termo — ao incorporar decisões que podem ser decisões discriminatórias geralmente para aumento de lucro e atividade das empresas de uma forma irresponsável e, em alguns casos, de forma intencional devido à supremacia branca e ao racismo", destaca Silva.

No Brasil, um dos casos emblemáticos sobre os impactos da reprodução do racismo e sexismo nos buscadores aconteceu em 2019, quando a empresária baiana e relações públicas Cáren Cruz pesquisou na internet "mulher negra dando aula" e se deparou com imagens que associavam mulheres negras a conteúdos pornográficos. Ela preparava uma apresentação corporativa para uma empresa e tinha feito a pesquisa porque só encontrava imagens de mulheres brancas em posições de ensino. O resultado das imagens explícitas já foi retirado do buscador pela plataforma.

Com a repercussão, na época o Google informou ao site Bahia Notícias que também tinha sido surpreendido e reconheceu que as imagens não deveriam ficar explícitas. "Quando as pessoas usam a busca, queremos oferecer resultados relevantes para os termos usados nas pesquisas e não temos a intenção de mostrar resultados explícitos para os usuários, a não ser que estejam buscando isso. Claramente, o conjunto de resultados para o termo mencionado não está à altura desse princípio e pedimos desculpas àqueles que se sentiram impactados ou ofendidos", escreveu a empresa em nota enviada ao site.

Apesar dos buscadores usarem o argumento de que os resultados são frutos dos conteúdos com maior relevância ou por palavras-chave, a professora e pesquisadora estadunidense e uma das expoentes do conceito do "racismo algorítmico", Safiya Noble, questiona a suposta "neutralidade" dos buscadores na categorização das pesquisas.

No livro "Algoritmos da opressão: como os mecanismos de busca reforçam o racismo", lançado em 2021, Noble chama atenção para a reprodução das desigualdades estruturais no ambiente virtual. "Desigualdades estruturais da sociedade estão sendo reproduzidas na internet e a luta por um espaço cibernético sem raça, gênero e classes pode apenas 'perpetuar e reforçar os atuais sistemas de dominação'", cita a especialista, que também atuou na área de marketing por mais de dez anos.

A reportagem entrou em contato com a equipe do Google no Brasil e questionou sobre como funciona o algoritmo de buscas da plataforma e ações/estudos que a empresa adota para evitar e corrigir a reprodução de resultados nocivos a grupos historicamente discriminados. Em nota, o Google informou que pelo fato dos sistemas serem organizados com base na "internet aberta", a plataforma pode refletir preconceitos já rotulados na internet.

"Compartilhamos a profunda preocupação em torno disso e estamos trabalhando ativamente em soluções escaláveis para esses tipos de problemas, tanto que já tivemos melhorias significativas nos últimos anos. Como a internet está em constante mudança, esse é um desafio contínuo e continuaremos trabalhando para superá-lo como parte do nosso compromisso de criar produtos úteis e inclusivos para todos os usuários", completa a nota.

O Google também citou que em maio do ano passado anunciou o lançamento da "Escala Monk Skin Tone (MST)", projetada para incluir mais o espectro de tons de pele na pesquisa de imagens da plataforma. A ferramenta foi produzida com base na pesquisa do professor e sociólogo de Harvard, Dr. Ellis Monk, que estuda como o tom de pele e o colorismo afetam a vida das pessoas há mais de 10 anos.

Mulheres negras são as mais hostilizadas no ambiente virtual

Apesar de não existirem dados específicos sobre racismo algorítmico no Brasil, pesquisas indicam que o ambiente virtual é mais hostil para mulheres negras. A tese de doutorado do pesquisador e PHD em Sociologia, Luiz Valério Trindade, aponta que as mulheres negras correspondem a 81% das vítimas de discurso discriminatório nas redes sociais. O perfil da maioria (65%) dos internautas que disseminam intolerância racial é composto por homens, na faixa de 20 a 25 anos.

No contexto das últimas eleições municipais, em 2020, o Instituto Marielle Franco realizou uma pesquisa inédita sobre violência política e os resultados mostram que as candidatas negras foram as que mais sofreram com a violência virtual, relatada por 78% das entrevistadas. Em seguida, estão a violência moral e psicológica (62%), violência institucional (55%) e violência racial (44%).

Segundo o pesquisador Tarcízio Silva, a falta de transparência das plataformas digitais é um dos fatores que dificultam a elaboração de estratégias e o mapeamento do racismo algorítmico no Brasil.

"As plataformas digitais, quando a gente está falando da internet, não oferecem transparência sobre esses tipos de informações, basicamente sobre quase nenhum tipo de formação relevante para a sociedade e sobre danos possíveis, seja danos sobre discriminação, moderação de conteúdo inadequada, desinformação, etc. E aí o que está em jogo hoje na regulação de plataformas, por exemplo, envolve forçar as plataformas a oferecerem dados que estão relacionados a isso. No Brasil eu diria que não há dados quantitativos sobre racismo algorítmico", ressalta Silva.

Quando se pensa no conceito do "racismo algorítmico", os bancos de imagens também não estão isentos de reproduzir desigualdades estruturais. É o que indica uma pesquisa realizada pela psicóloga Emilly Lima, integrante do grupo de pesquisa em Percepção Visual da Universidade de Brasília (UnB).

Ainda em produção, o estudo analisou mais de 3 mil fotos em bancos de imagens digitais gratuitos para investigar e analisar a representação racial e socioeconômica presente na plataforma ao pesquisar por quatro palavras chave: riqueza e dinheiro, para indicar alto status social; e pobreza e miséria, para indicar baixo status social. Os resultados parciais apontam que a maioria dos representados na pesquisa de baixo status social foram pessoas negras.

"Quando se busca por riqueza e pobreza, tem uma diferença na forma como as pessoas são representadas. Para 'riqueza' a gente identificou mais imagens como barras de ouro, uma casa, um carro, mas quando se olha para 'pobreza' geralmente são pessoas em situação de pobreza e, em sua maioria, pessoas negras nessa situação", explica Emilly Lima.

A pesquisadora ressalta que a maioria das fotos dos bancos de imagens são da Europa e da América do Norte, por isso existe uma maior quantidade de pessoas brancas em termos de proporção do que de pessoas negras, e quando as pessoas negras aparecem, geralmente, são em situações de baixo status socioeconômico.

Emily avalia ser necessário combater o discurso de "neutralidade" dos algoritmos. "Acho que o discurso da neutralidade cai quando a gente vê que a internet é formada por pessoas, que existem pessoas por trás da internet. Quem é que programa as máquinas? Quem é que está por trás da programação dessa máquina? A gente está usando banco de imagens diversos que representa toda a população do mundo ou a gente só está massificando essa cultura de acordo com o padrão branco e eurocêntrico?", questiona a pesquisadora.

Possíveis soluções e desafios

O debate sobre o racismo algorítmico também perpassa pelo debate sobre a regulação das redes sociais no Brasil, segundo especialistas ouvidos pela Alma Preta Jornalismo. Atualmente, o Marco Civil da Internet, através da lei 12.965/14, regula as redes sociais no país, no entanto, não estabelece a responsabilização das plataformas digitais, que se posicionam apenas como "intermediárias" para os usuários.

Proposta durante a campanha do então candidato Luís Inácio Lula da Silva (PT) e atual presidente, a discussão sobre a ampliação da regulação tem como foco central combater a desinformação, discursos de ódio e disseminação de informações que ameaçam a democracia. Entretanto, ainda há desafios a serem enfrentados nesse campo como, por exemplo, a falta de participação de pessoas negras, as atribuições e responsabilidades das plataformas e quem irá monitorar e regular.

De acordo com Tarcízio, um dos debates principais deve ser estabelecer quais são os riscos possíveis nesse ambiente, quais as obrigações das plataformas e os riscos considerados inaceitáveis que devem ser analisados na regulação das plataformas.

"O debate que alguns movimentos, sobretudo o movimento negro, tem tentado fazer é estabelecer que, por exemplo, o reconhecimento facial em espaço público é um risco inaceitável e a partir daí, se ela é uma tecnologia de risco alto, não deve ser desenvolvida. Só que as perspectivas liberais, inclusive na sociedade civil, dificultam essa posição e em termos de risco alto as empresas, estados ou governos teriam obrigações de transparência, responsabilidade e de reparação", comenta.

Segundo a coordenadora de pesquisa e pesquisadora do Instituto de Referência em Internet e Sociedade (IRIS), Fernanda Rodrigues, apesar das ferramentas para o combate ao "racismo algorítmico", ainda há a necessidade em ter instrumentos normativos importantes para reconhecer esse conceito para o cumprimento da lei e mecanismos de fiscalização.

"Em relação à regulação da inteligência artificial, por exemplo, a gente poderia ter mecanismos de fiscalização, como a avaliação do impacto algorítmico que considere as questões de raça, gênero, dentre outras, para analisar se aquela ferramenta da inteligência artificial vai ter impacto sobre determinados grupos sociais, como mulheres e pessoas negras", destaca Fernanda, também doutoranda em Direito pela Universidade Federal de Minas Gerais (UFMG) na área de Direito, Tecnociências e Interdisciplinaridade.

Para o avanço do debate sobre a regulamentação no país, a especialista avalia que apesar da contribuição de discussões já estabelecidas no contexto europeu, a exemplo da União Europeia, é importante destacar narrativas que estão para além do eixo dominante de produção e epistemologia, como as regulamentações discutidas no sul global.

"A Declaração de Windhoek sobre a inteligência artificial em países do sul da África fala justamente sobre perspectivas relacionadas à necessidade de uma decolonização da tecnologia — do sistema da inteligência artificial especificamente — e também numa decolonização da própria educação em todos os níveis relacionados a essa tecnologia para que gente possa realmente pensar nesse tipo de ferramenta a partir do nosso contexto e das nossas demandas", conclui.