ActionOPD：蒸馏决策，而非 Token
ActionOPD 是一种 on-policy 蒸馏方法，以语义动作而非单个 token 或复现的推理过程来训练智能体。在学生模型实际遇到的状态下，该方法将学生的动作与黑盒教师模型采样得到的动作进行比较。它不需要教师的 token 概率，也不要求师生使用相同的分词器。研究人员使用两个教师模型，在工具使用任务上训练 Qwen3-4B 和 Qwen3-8B，在四个分布外基准测试中取得平均 3.3 至 6.9 个百分点的提升。在 τ²-bench 上，其表现可与离线蒸馏及 token 级 on-policy 蒸馏相竞争。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。