追踪梯度：从训练数据中追溯安全性退化
即使训练样本看起来无害，对大型语言模型进行微调也可能削弱其安全性。研究人员提出 SimpleLoRIF，这是一种可扩展的梯度方法，用于识别与不安全行为相关的样本。该方法能够处理约百万条样本的数据集，并在涌现式失调实验中取得最高 0.865 的 AUC。研究团队据此构建了 SafeTulu：从 Tulu 3 中移除与不安全回答关联最强的 20% 样本。使用 SafeTulu 微调后，Qwen、Llama 和 Olmo 上的 GCG 攻击成功率最高下降 22%，模型能力总体得以保留，部分情况下还有所提升。团队同时发布 SafeTulu，以及一个可自定义筛选设置的 Hugging Face Space。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。