通过无需训练的权重编辑抵御有害指令
研究人员提出一种无需额外训练的语言模型权重编辑方法，用于减少模型对特定有害指令的服从。该方法针对每种目标行为，仅需使用少量提示词对进行前向计算。由于修改被存储在模型权重中，改变或删除提示词中的指令也无法撤销这一修改。研究在五个指令微调模型上评估了指令诱导的虚假陈述和性别歧视行为。在两项说谎基准测试中，相比最强的替代方法，该方法使平均诚实回答率分别提高6.2和4.6个百分点，并在五个模型中的三个模型上取得显著改善。对于指令诱导的性别歧视，平均歧视性回答率从57.9%降至24.3%；与公平性提示词结合后进一步降至11.9%。结果表明，权重编辑可作为基于提示词的安全措施的补充，但目前评估仅覆盖两类行为。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。