AutoSFT：自动化监督微调数据研究的智能体系统
AutoSFT研究如何利用AI智能体自动开展监督微调（SFT）所需的数据研究。系统不再局限于从固定数据池中挑选样本或生成新数据，还能调整数据比例、删减、修复、替换并合成数据。单个智能体只采用了其中一种操作，而且执行输出不断占用上下文，导致搜索过程中上下文丢失。AutoSFT采用多智能体架构，由元智能体将执行与分析分开，汇集不同角度的建议，并在需要时调用数据合成子智能体。在受控对比中，分析智能体使最佳IFEval成绩提高6.5分；数据合成又使IFEval提高3.4分、IFBench提高2.9分。在代码任务上，分析还使MBPP+提高3.7分。研究结果表明，覆盖多种数据操作可能比强化单一操作更重要。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。