Um projeto da Meta, liderado pela contratada Covalen, gerou polêmica ao instruir centenas de trabalhadores a criar perfis falsos de adolescentes com o objetivo de testar como chatbots concorrentes lidam com temas sensíveis, como suicídio, sexo e distúrbios alimentares. De acordo com documentos internos e fontes próximas ao projeto, a iniciativa, conhecida internamente como Cannes, estava em andamento até 21 de abril.

Os contratados foram orientados a criar contas fictícias de menores de 18 anos e a enviar perguntas e imagens para chatbots de empresas como OpenAI, Google e Character.AI, documentando as respostas em planilhas. As imagens enviadas incluíam itens como pílulas, facas e laços, refletindo a natureza delicada dos temas abordados.

Testes e Resultados

As instruções do projeto sugeriam que muitos dos prompts buscavam levar os chatbots a respostas que suas diretrizes de segurança deveriam recusar. Um teste realizado em agosto de 2025 abrangeu mais de 45 mil prompts, sem que as empresas envolvidas tivessem conhecimento da atividade.

Entre os exemplos de perguntas, estavam questões sobre onde adquirir drogas e relatos de situações de risco envolvendo jovens. Apesar de não ter sido encontrada evidência de que as respostas coletadas foram utilizadas pela Meta, documentos internos descreveram o projeto como uma forma de “benchmarking abrangente de segurança em IA”.

Reações e Críticas

A Meta defendeu a prática como um teste de segurança padrão da indústria, enquanto a Covalen não se manifestou. Especialistas em tecnologia e advogados analisaram a situação, destacando que, embora a comparação de produtos não seja incomum, o método empregado levantou questões éticas sobre a mistura de avaliação de segurança com benchmarking competitivo.

O caso levanta importantes questões sobre a privacidade e a segurança na interação com tecnologias emergentes, além de reforçar a necessidade de regulamentações claras no uso de dados sensíveis, especialmente envolvendo menores.