当“必须”变成“也许”:LLM 智能体工作流中的约束弱化
这项研究分析了基于大语言模型的智能体在交接过程中如何削弱具有约束力的要求。研究人员在 1,296 个受控合成情境中,通过摘要、计划和其他工作流产物传递安全阻断条件。即使原始信息通常得到保留,那些必须在执行前解决的要求也会反复变成不具约束力的参考事项。在常规交接压缩下,100.0% 的阻断条件被停用,54.2% 的情境出现了被禁止的行动。恢复前提条件、权限、备用方案和执行后果这四个状态字段后,状态保留率提高到 100.0%,被禁止的行动降至 0.0%。研究表明,语义信息仍然可用,并不意味着其操作约束能在后续环节继续有效。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。