S3AC：面向大语言模型推理的稳定、选择性与可扩展 Actor-Critic 方法
S3AC 是一种用于大语言模型推理的 Actor-Critic 方法，模型通过可验证奖励进行训练。它旨在提供 token 级优势值和 prompt 专属基线，而不依赖分组 rollout。该方法包括一套 critic 训练方案，以及难度感知提示采样（DAPS），依据估计难度和历史结果，在生成前选择提示。作者报告称，在参数规模为 15 亿至 3970 亿的稠密模型和混合专家模型上，S3AC 的表现优于一种较新的 GRPO 变体。在 350 亿参数规模下，S3AC 可维持单次 rollout 训练；受测的无 critic 方法则在初期提升后表现下滑。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。