政策不等于能力：一些安全基准测试衡量的是训练时采用的“不安全”定义
一项研究发现，护栏模型的基准测试结果可能高度取决于训练标签如何定义“不安全”。研究人员使用相同提示词，按照两种不同政策训练了十种护栏模型。在架构和检测能力不变的情况下，HarmBench-Copyright 得分仍从 0 到 100 不等；OR-Bench-hard 的过度拒绝率则从 3.4% 到 56.4% 不等。训练数据污染和软标签的来源也会影响结果。作者建议，评估时应明确报告数据污染情况、不同训练轮次间的波动，以及评分所依据的政策定义。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。