让大语言模型助手的社会推理具备可验证性
研究人员推出 Fuse，这是一个用于评估大语言模型助手社会推理能力的多智能体模拟框架。在 Fuse 中，一个具有隐藏动机的智能体会与其他智能体互动，其中包括代表用户的智能体；用户智能体随后向被评估的助手咨询，以推断目标智能体的动机。这种设计能够构造出可验证的标准答案。研究团队通过包含 2.4 万条人工标注的研究验证了模拟的可信度。对 12 个大语言模型的评估显示，用户介入会增加社会推理难度，模型会系统性地受到用户偏向性描述的影响，可能需要比人类更多的信息才能做出正确判断，而更长的对话并不总能提升表现。Fuse 及包含 2.1 万个样例的数据集已开源。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。