Task-CoEvolve：通过自适应验证任务选择实现高效的 Harness 优化
Task-CoEvolve 是一种优化大语言模型 Harness 的方法，无需更新底层模型权重。与每轮都评估完整验证集不同，该方法优先选择候选 Harness 结果存在分歧的任务，因为这些任务更有助于区分候选方案。它根据历史结果进行方差加权采样，并随着 Harness 的演进调整任务分布。随后，方法结合采样概率，从部分评估结果估算完整验证集的性能，从而在不同迭代之间进行一致比较。在在线文本分类和 Terminal-Bench 2.1 实验中，Task-CoEvolve 的表现优于基于子集的基线方法，并达到完整集合搜索的最终性能，同时将优化过程中的评估次数减少了 80%。研究团队计划在 GitHub 上发布代码。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。