VIEWCRAFT:改进多模态智能体的观察内容及其解读方式
ViewCraft在不更新模型权重的情况下,联合优化多模态智能体对观察信息的选择、转换和组织方式,以及解读这些信息的流程。系统利用失败记录指导修订,并通过重放和成对评估保留有效改动。在八项基准测试中,与直接执行相比,ViewCraft的任务得分平均提高6.1分;在输入令牌预算相同的情况下,优势仍然存在。在五项多源任务中,学习得到的接口比初始技能少用8%至15%的输入令牌。这些技能还可迁移到其他执行器,并在所有已评估的迁移场景中胜过直接执行。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。