利用文本拒绝方向提升多模态安全性
多模态大语言模型的安全性通常依赖多模态安全数据，但这类数据难以收集，也涉及伦理和法律问题。本研究探讨从语言模型主干提取的拒绝方向能否迁移到图像和视频。研究人员提出 MARS，这是一种无需额外训练或多模态安全数据的轻量方法。它会校正模态间的对齐偏差、调整干预强度，并选择合适的干预层。在五个多模态模型上的评估显示，该方法持续提升安全性，同时大体保留模型效用；不过，干预过强可能导致过度拒答。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。