Facebook Papers: sistemas da empresa são 'mal equipados'

Documentos internos do Facebook obtidos pelo Estadão mostram que a empresa é incapaz de combater com rapidez conteúdos nocivos que viralizam em sua plataforma. Frente à ausência de uma estratégia sólida para o monitoramento e combate de situações de risco em diferentes países, incluindo o Brasil, a empresa de Mark Zuckerberg vive atuando de forma reativa ao mau uso de sua plataforma em vez de oferecer um serviço com o mesmo nível de segurança para todos os seus usuários ao redor do globo.

As informações aparecem nos "Facebook Papers", um pacote de documentos da empresa vazados para um consórcio internacional de veículos de imprensa, incluindo Estadão, New York Times, Washington Post, Guardian e Le Monde. A divulgação foi feita à Securities and Exchange Commission (SEC, na sigla em inglês), órgão regulador das empresas listadas em bolsa nos Estados Unidos. Os arquivos também foram fornecidos ao Congresso americano de forma editada pelo consultor jurídico de Frances Haugen, ex-funcionária do Facebook que coletou pesquisas internas da rede social após pedir demissão em maio deste ano por discordar das atitudes da companhia.

Notícias relacionadas

Vovó Daisy é a nova criação de inteligência artificial para enganar fraudadores; entenda

iPhone 11 é o modelo de celular mais vendido entre os usados

Criminosos retomam táticas antigas para roubar: veja como se proteger

Publicado internamente em fevereiro deste ano, um dos arquivos discute estratégias de "adaptação rápida" para combater conteúdos violentos na plataforma - na visão de engenheiros da empresa, a rede social é incapaz de lidar com problemas que se desenrolam rapidamente.

No documento de 31 páginas, um funcionário do Facebook diz que os sistemas da empresa de monitoramento de conteúdo estão "realmente mal equipados para responder a novos casos ou a novas atualizações de políticas (da plataforma)". Ele afirma que custou muito para a companhia resolver problemas recentes de violação de integridade da plataforma e que "não é sustentável ou escalável a equipe de engenharia estar em modo de combate de incêndio para todas as crises ao redor do mundo".

Em outras palavras, o engenheiro do Facebook diz que a equipe responsável por combater conteúdo tóxico vive correndo atrás do prejuízo em vez de ter uma estratégia capaz de combater rapidamente o mau uso da plataforma.

O mesmo funcionário chama atenção para a necessidade de investimento em engenharia - é a repetição de um refrão repetido por Frances desde que ela passou a denunciar o Facebook em outubro. Para a ex-funcionária, a companhia de Mark Zuckerberg negligenciava o investimento na segurança da plataforma, direcionando dinheiro para outras áreas da companhia, como games.

No documento, o funcionário lista uma série de episódios de ódio e discurso violento que a empresa teve de enfrentar recentemente no modo "apagando incêndio". Entre eles estão as eleições brasileiras - não fica claro se ele se refere à eleição presidencial de 2018 ou às eleições municipais realizadas no ano passado. O funcionário também cita protestos contra a morte do americano George Floyd, eleição presidencial nos EUA, tiroteio em Kenosha (EUA), eleição presidencial em Mianmar, ataques racistas contra o povo chinês envolvendo a covid-19, ataque terrorista na França e genocídio na Etiópia.

"Durante as eleições americanas de 2020 e o ataque ao Capitólio, vimos um aumento de conteúdos que clamam por guerra se referindo a fraudes nas eleições, então lançamos uma atualização da política de emergência para resolver. Nossa automação não estava se adaptando a essa mudança, então tivemos de lançar 'BTGs' (sigla para "Quebre o vidro", na tradução do inglês)", diz o funcionário, em referência a práticas de moderação mais severas adotadas pela companhia em situações emergenciais, como decisões de banimento de contas na plataforma.

Transatlântico

O documento apresenta um projeto para tornar mais ágeis as técnicas de detecção de conteúdos que ferem a integridade no Facebook e no Instagram. É descrita a ideia de um mecanismo que, a partir de blocos de tecnologias que a empresa já tem, combinaria sistemas para criar uma nova estrutura.

Com isso, seria possível identificar ao mesmo tempo várias indicações de problemas nos conteúdos, como palavras-chave. O objetivo seria detectar conteúdos nocivos de maneira "mais criativa e precisa". Em um segundo momento, esse trabalho seria usado para a tomada de decisões práticas, como reportar o caso ou deletar o conteúdo (ver diagrama abaixo). Não é possível saber se a estrutura proposta foi adotada.

Na justificativa para o novo projeto, há trechos que revelam que a companhia opera como um transatlântico, com enormes dificuldades de fazer manobras rápidas. "Quando um novo evento ocorre (como o surgimento de um novo caso de violação ou uma nova atualização de política da plataforma), muitas vezes não temos a capacidade de abordá-lo rapidamente. Demanda tempo para que os rótulos de qualidade marquem o novo evento para ter um acúmulo suficiente para treinamentos de classificação (na inteligência artificial)", diz um dos tópicos no documento. "Pode demorar um trimestre ou um semestre para incorporar totalmente conhecimentos sobre um novo evento em produção. Nisso, o caso pode já ter passado e os danos já podem ter sido feitos".

Outro comentário de um funcionário, no mesmo documento, dá exemplos envolvendo essa limitação. Ele fala que os sistemas da empresa tiveram dificuldade em se adaptar a novas políticas da plataforma relacionadas à negação do Holocausto. "Outro exemplo é um novo insulto, que pode não causar um aumento geral nas nossas métricas, mas ainda assim é algo que nossa automação falha em abordar", afirma.

É a indicação de que havia na empresa o descolamento entre as equipes que criam as políticas da plataforma e aquelas responsáveis por aplicá-las, com sistemas tecnológicos de monitoramento de conteúdo. É algo que também fica claro nas palavras de Frances, que repetidamente afirma: "Sou uma cientista de dados, e não era da equipe de política".

Assim, paradoxalmente, o Facebook é uma empresa de tecnologia que, aparentemente, tem um problema de tecnologia.

Escolhas

Outro documento obtido pelo Estadão também mostra a empresa reconhecendo internamente que o método de "apagar incêndios" não funciona. O arquivo de 8 páginas aborda especificamente a situação dos chamados "países de risco", onde não apenas há maior propagação de conteúdos tóxicos, mas também mais chances desses materiais terem resultados no mundo real - a rede social coloca o Brasil nesta categoria.

O documento, sem data de publicação, propõe diretrizes para mitigar os danos nessas regiões, que muitas vezes envolvem a hierarquização de problemas. Uma das estratégias, por exemplo, seria priorizar o monitoramento de países com "violência contínua" em detrimento de países com "violência temporária" (lugares que teriam riscos de danos apenas na época das eleições, por exemplo). "Essas não são escolhas fáceis de se fazer", afirma um dos trechos.

É um cenário descrito por Frances Haugen: "Quando eu trabalhava em contraespionagem, a gente só tinha equipe para trabalhar em parte daquilo que tínhamos conhecimento. Nunca desenvolvemos software de detecção porque não tínhamos pessoas suficientes para trabalhar nos casos", afirmou a ex-funcionária por e-mail ao Estadão.

No arquivo, também é reforçada a necessidade de medidas proativas, com visão de longo prazo, em vez de ações reativas aos problemas: "Dado o aumento do risco de violência offline, é tarde demais quando temos de responder de forma reativa. Devemos nos concentrar na mitigação contínua de riscos para prevenir picos repentinos".

A empresa, porém, reconhece suas limitações no processo. Um dos tópicos no documento se chama "Tenha paciência". "Os países em risco apresentam muitos desafios na detecção. Temos menos rótulos (de inteligência artificial) para começar e é mais difícil de atender às solicitações", diz um trecho. "Vamos melhorar conforme a tecnologia de processamento de linguagem natural amadurece, mas leva tempo". Porém, aprimorar os sistemas de inteligência artificial implica em um dilema: mais casos problemáticos seriam detectados, o que aumentaria a necessidade de mais gente especializada para investigá-los.

O que diz a empresa

Procurado pela reportagem, o Facebook diz em nota: "Só neste ano, vamos investir mais de US$ 5 bilhões em segurança, e hoje temos mais de 40 mil pessoas trabalhando nessas questões. Continuamos a fazer melhorias para manter conteúdo nocivo fora de nossas plataformas, mas não há uma solução perfeita. Nosso trabalho de integridade é uma jornada de vários anos, e o progresso significativo que fizemos é em grande parte devido à dedicação consistente de nossas equipes para entender desafios, identificar lacunas e executar soluções. É um processo contínuo e fundamental para a forma como operamos."

A empresa diz também que trabalha proativamente na detecção de conteúdos nocivos. Em relação às eleições brasileiras de 2020, a empresa diz que removeu 140 mil conteúdos do Facebook e do Instagram por violarem essas regras antes do primeiro turno de votação no País. "Antes do primeiro turno de votação no Brasil, rejeitamos cerca de 250 mil vezes a submissão de anúncios relacionados a eleições e política direcionados a pessoas no Brasil que não tivessem concluído o processo de autorização adequado", diz a nota.