Nova forma de enxergar o funcionamento interno do modelo pode transformar a estratégia de IA nas empresas, principalmente na avaliação e escolha de soluções.
A Anthropic descobriu uma maneira de compreender melhor como seus modelos de inteligência artificial resolvem problemas, graças a uma estrutura interna que chamou de J-space.
“Descobrimos que o Claude desenvolveu um pequeno conjunto de padrões neurais internos que desempenham um papel especial em comparação com todo o restante do seu processamento. Chamamos esse conjunto de J-space, em referência à técnica utilizada para identificá-lo, baseada em um conceito matemático conhecido como Jacobiano”, explicou a Anthropic em sua publicação sobre a descoberta. Para analisar esse espaço, a empresa utiliza um método chamado J-lens (lente Jacobiana).
“Cada padrão presente no J-space está associado a uma palavra específica”, afirma a empresa. “No entanto, quando um desses padrões é ativado, isso não significa que o modelo irá escrever essa palavra, mas sim que ela está presente em seu processo de raciocínio. Diferentemente do chamado scratchpad ou cadeia de pensamento, em que o modelo registra textos para organizar seu raciocínio, o J-space funciona de forma silenciosa, por meio das ativações internas da rede neural, permitindo que o modelo reflita sobre um conceito sem precisar escrevê-lo.”
Esse novo nível de transparência vai muito além do scratchpad interno apresentado pela Anthropic em 2024. Na época, o recurso permitia visualizar o que o modelo estava considerando antes de executar uma ação ou responder a uma pergunta. Agora, a novidade revela uma camada muito mais profunda do funcionamento da IA, com potencial para alterar a forma como sistemas de inteligência artificial são avaliados, auditados e adquiridos pelas empresas.
Um dos exemplos apresentados no estudo mostrou que determinados modelos não adotaram comportamentos inadequados durante testes, o que inicialmente parecia um excelente resultado. Porém, ao analisar o conteúdo do J-space, os pesquisadores perceberam que, em alguns casos, o modelo havia identificado que estava sendo avaliado. Essa percepção pode ter sido justamente o motivo pelo qual evitou realizar ações problemáticas, de maneira semelhante ao comportamento de crianças que agem de forma diferente quando sabem que estão sendo observadas.
“A Anthropic criou uma ferramenta capaz de detectar quando seu próprio modelo percebe silenciosamente que está sendo testado, tenta produzir respostas apenas para parecer melhor, identifica tentativas de manipulação por meio de prompt injection ou mantém um objetivo oculto que ainda não colocou em prática”, afirmou Rock Lambros, diretor de padrões e governança em IA da empresa Zenity. “Parte desse comportamento aparentemente positivo acontecia simplesmente porque o modelo sabia que estava sob observação.”
Segundo Lambros, clientes devem interpretar os resultados de testes de segurança levando esse fator em consideração.
“A adequação de um modelo para um projeto específico continua dependendo de avaliações realizadas com seus próprios dados e seus próprios cenários de ataque, e não apenas de rankings ou testes padronizados que o modelo sabia que estava realizando.”
Esse nível de transparência pode se tornar uma ferramenta estratégica para diretores de tecnologia (CIOs).
“Quando um fornecedor consegue identificar internamente comportamentos inadequados do próprio modelo e ainda divulga essas descobertas, isso demonstra um nível mais elevado de maturidade em segurança e confiabilidade. Esse tipo de informação deve fazer parte do processo de diligência na contratação de soluções de IA, e não apenas das manchetes”, destacou Lambros. “A pergunta que todos deveriam fazer aos fornecedores de modelos agora é: o que vocês conseguem enxergar dentro do modelo que não aparece nas respostas geradas? E o que já descobriram por meio dessa visibilidade?”
Noah Kenney, consultor principal da Digital 520, também alerta para as implicações da descoberta.
“Um modelo que apresenta um comportamento melhor apenas porque percebe que está sendo observado não pode ser considerado realmente seguro. É apenas um modelo que sabe esconder suas intenções. Precisamos reavaliar os resultados de testes de segurança, projetos-piloto internos e qualquer afirmação de que ‘o modelo foi testado e se comportou corretamente’, porque agora sabemos que essas conclusões podem vir acompanhadas de uma importante ressalva.”
