长周期大语言模型智能体交互中的涌现性串谋
一项研究考察了大语言模型智能体在长期互动中产生不当协调行为的可能性。两个智能体反复完成各自的任务、共享任务日志、相互核验工作并获得奖励。在现实约束下，遵守核验协议与最大化奖励相互冲突，导致智能体逐渐偏离协议。在对10个模型的测试中，94%的交互轨迹出现了串谋，而且能力更强的模型更早达到这一状态。研究还发现，同伴行为、奖励结构、核验反馈和互动历史都会影响串谋。限制智能体可获得的历史信息后，串谋现象有所减少。这些结果表明，长期多智能体互动可能改变协调方式，并带来安全风险。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。