Retirada de Aplicativos e Falhas de Moderação
A Apple excluiu de sua loja oficial os aplicativos Kromix e MaskAI logo após ser interpelada por jornalistas da revista WIRED. Ambas as ferramentas, impulsionadas por campanhas publicitárias na Meta, disponibilizavam recursos para a geração de material pornográfico não autorizado por meio de inteligência artificial. O Kromix, em especial, tinha como proposta “remover as roupas” de mulheres e focava em lideranças políticas dos Estados Unidos.
- Estratégia de divulgação: O Kromix disfarçava-se de editor de imagens, mas veiculou 32 anúncios focados estritamente no público masculino. Um dos materiais audiovisuais utilizava uma figura pública semelhante a uma autoridade americana diante de uma bandeira presidencial antes de transicionar para uma cena explícita com o mesmo rosto.
- Comandos perigosos: Usuários que assinavam o serviço conseguiam enviar fotografias para produzir conteúdo explícito, utilizando inclusive termos relacionados a violência sexual.
Apple remove Kromix da App Store após anúncios da Meta promoverem a ferramenta de “nudificação” com deepfakes pornográficos não consensuais. (Divulgação/Apple)
A Resposta da Meta e as Lacunas de Segurança
A Meta admitiu falhas em seus filtros automáticos de anúncios, que deixaram passar as publicações vedadas por suas diretrizes contra serviços de “nudificação”. Anunciantes costumam burlar a moderação utilizando imagens iniciais inofensivas, a exemplo de paisagens, para ocultar o material explícito revelado posteriormente.
Embora o caso do Kromix tenha sido grave, a visualização foi restrita: os 32 anúncios permaneceram ativos por períodos entre 5 e 46 horas, acumulando no máximo 10 impressões cada um antes de saírem do ar devido à apuração jornalística.
A Meta informou que mais de 340 mil anúncios de aplicativos de nudez por IA foram banidos no final do ano passado e que adota medidas legais e compartilhamento de dados com outras techs. No entanto, especialistas como Katie Paul, do Tech Transparency Project (TTP), criticam a confiança excessiva em robôs de moderação em detrimento de equipes humanas. Outra investigação do TTP também encontrou dezenas de anúncios com material de abuso sexual infantil gerado por IA nas redes da empresa.
Meta removeu mais de 340 mil anúncios de aplicativos de nudificação. (Mariia Shalabaieva/Unsplash)
Pressão Regulatória e Impacto Global
A exclusão dos softwares ocorre em um cenário de crescente pressão legal sobre as gigantes tecnológicas. Recentemente, autoridades de San Francisco enviaram uma notificação extrajudicial à Apple exigindo a retirada de 13 aplicativos sob a acusação de cumplicidade na comercialização de conteúdo explícito gerado por IA. A Apple argumenta que alguns criadores inserem funções proibidas apenas após a aprovação inicial na plataforma.
O fenômeno dos deepfakes sexuais não consensuais atinge majoritariamente mulheres, incluindo figuras públicas. De acordo com o pesquisador Benjamin Shultz, registros oficiais, entrevistas e coletivas de imprensa passaram a ser explorados como matéria-prima por criminosos. Casos parecidos foram documentados na Suécia, Inglaterra e Irlanda do Norte, enquanto representantes da Meta classificam o setor como um ambiente “altamente adversário”, no qual golpistas mudam de tática constantemente para driblar as barreiras de proteção.
