在潜在空间中进行评判:通过语义保留压缩实现高效生成式奖励建模
LatentGRM 是一种将基于评分准则的评估压缩为紧凑连续状态序列的框架。它利用这些表示对成对回答进行判断,无需先生成文字评语;需要时,可由独立的解释器重建评估文本。在训练数据和模型骨干相同的条件下,4B 和 8B 版本的总体偏好判断准确率可与经过显式监督微调(SFT)的评判模型相媲美。在四个基准领域中,LatentGRM-8B 将评估序列压缩至原来的 1/8.9 至 1/9.2,并在 vote@5 设置下将评判的总推理时间缩短 6.1 至 7.0 倍。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。