HALO：基于人类评估的主动式智能体细粒度评测
主动式智能体即使没有明确请求，也必须判断是否提供帮助、何时提供以及介入到什么程度。HALO推出了HALO-Arena和HALO-8K数据集，其中包含10个模型在400个场景下生成的8,000条回答，并由20位专家进行标注。场景覆盖四类需求和十个日常生活领域，要求智能体先从数据库或文档中检索证据，再决定如何行动。表现最佳的专有模型可接受率为72.88%，最佳开源模型为56.63%。最主要的问题是过度主动：时机过早或介入过强，占被拒绝回答的61.20%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。