Microsoft demonstra backdoor em agentes de IA ao alterar menos de 10 neurônios

O que aconteceu e por que importa

O que aconteceu: Pesquisadores da Microsoft mostraram que é possível inserir um backdoor oculto em um modelo de IA editando menos de 10 neurônios raramente usados, sem necessidade de retreinamento, permitindo que o modelo execute comandos do atacante quando um gatilho específico aparece.

Contexto: A técnica altera pesos de neurônios pouco utilizados, criando um gatilho que faz o modelo gerar instruções maliciosas que são executadas com as permissões do agente que o utiliza.

Por que importa: Indica que modelos de IA podem ser comprometidos com alterações sutis, exigindo novas práticas de verificação de integridade para desenvolvedores e empresas que implantam agentes de IA, inclusive no Brasil.

O que acompanhar: Acompanhar pesquisas sobre detecção de backdoors e possíveis recomendações de segurança de fornecedores de IA.