Emergence World：长期多智能体系统的对抗性压力测试
Emergence World是一个持续运行的环境，用于对长期运行的自主多智能体系统进行对抗性测试。研究团队建立了8个平行世界，每个世界包含10个智能体；经过16天运行，共产生超过85万次大语言模型调用和近500亿个令牌。研究人员通过间接提示注入、错误信息和暴露智能体私有记忆三种受控压力事件进行测试，结果显示没有任何世界能在三类事件中都保持完全韧性。系统即使识别出威胁，也可能继续处理对抗性内容，将其写入持久记忆，并在最多46小时后据此行动。研究还发现反复出现的工具错误、目标漂移、语言不透明、从众行为以及协调拒绝任务。结果表明，仅对单个模型进行对齐，无法确保相互连接的自主系统整体安全。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。