语言模型的测谎器：读取模型不愿透露的知识
研究人员提出“内部识别探测”（PIR）方法，用于判断语言模型是知道答案却拒绝透露，还是确实不知道。该方法向模型提供问题、正确答案和多个合理干扰项，再分析模型的内部状态，以识别模型真正认识的选项。在来自五个系列的八个模型上，PIR取得了0.70至0.87的平衡准确率，显著高于未知项目基线和随机水平。面对提示诱导的欺骗、训练产生的隐瞒行为，以及通过密码锁定或电路阻断的模型时，该方法仍然有效。当遗忘训练移除相关知识后，识别信号下降到模型从未知道该问题时的水平。PIR可用于审计模型隐藏能力，并验证遗忘训练是否真正生效。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。