基准测试评估 AI 智能体的团队协作能力
Collaborative Intelligence Benchmark 用于评估 AI 智能体与他人协作的能力,包含 240 项任务,覆盖团队合作的八个方面,例如拒绝不安全的捷径,以及检查较弱模型留下的工作。研究人员评估了 18 个开放权重和闭源权重模型,最高得分为 82.2 分(满分 100 分)。结果显示,通用能力并不意味着团队协作能力强:能力分数相近的模型,作为队友时的得分最多相差 11 分。160 项任务的代码和数据已公开,另有 80 项任务留作评估。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。