Microsoft Researchers Show AI Agents Can Be Backdoored by Editing Fewer Than 10 Neurons
Microsoft mostrou que editar menos de 10 neurônios raramente usados pode inserir um backdoor sem retraining; ao disparar um trigger, o modelo emite comando que um agente executaria com suas permissões.
- A técnica modifica menos de 10 neurônios raramente usados do modelo, sem necessidade de retraining, e faz o modelo emitir o comando do atacante quando um trigger aparece.
- Para engenheiros: o atacante precisa ter capacidade de alterar os pesos do modelo; proteja alterações de pesos, valide integridade de modelos e limite permissões de agentes que executam comandos.
- #backdoor
- #agents
- #ai