Co-Design Bench：评估智能体模型的多模态协作编程能力
Co-Design Bench 是一项无需参考答案的基准测试，用于评估编程智能体能否将真实用户的多模态需求转化为可运行的应用修改。该基准包含 273 项任务，取自 26,314 场编程会话中的 37,463 条去重查询。两个测试方向涵盖可选用图像、音频、视频或文档输入的局部编辑，以及协同式代码仓库修改。评估采用 2,331 项由专家编写且不公开的验收标准。在统一测试环境中，十个模型中表现最佳者平均满足每项任务 69.9% 的标准，但完整完成任务的比例仅为 26.4%。当代码仓库修改涉及三至四种变更类型时，所有模型的表现都会下降。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。