智能体记忆可能成为内生性授权洗白的漏洞
一项研究指出，长期运行的LLM智能体如果通过持久化记忆错误记录权限、限制或撤销信息，即使没有外部攻击，也可能执行原本未获授权的操作。研究人员将这一问题称为“内生性授权洗白”，并推出EAL-Bench，用于评估记忆系统保存动态授权状态的准确性，以及错误是否会导致后续越权行为。研究覆盖采购、网络安全和金融场景，测试了5个负责写入记忆的LLM和2个负责执行任务的LLM。在渐进式记忆更新下，写入模型最多会对50.2%的未授权请求生成虚假权限；一旦虚假权限存在，执行模型在98.6%的试验中会据此行动。要求权限有有效来源事件支持，并采用有界事件溯源，能够显著降低风险，但也会增加对合法操作的误拒。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。