TRACE：面向 MoE 语言模型 FP4 强化学习的 rollout 引导量化感知训练
TRACE 是一种用于 Mixture-of-Experts（MoE）语言模型强化学习训练的 FP4 量化框架。它利用 rollout 执行中的量化结果指导训练阶段的 FP4 舍入，从而缩小训练路径与 rollout 路径之间的差异。其缓存方案旨在控制额外的存储和通信开销。作者在四个大型 MoE 模型及多种任务上的评估显示，TRACE 的强化学习性能可与 BF16 rollout 相当，rollout 速度最高提升 5.4 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。