先前的审计与修复上下文使LLM验证器的判定阈值趋于宽松
一项研究分析了在自动检查流程中由一个语言模型充当验证器、另一个或同一个模型负责修复时，先前的上下文是否会改变检查结果。在字节完全一致的任务中，预先加入一次审计与修复过程后，所有15种模型与措辞组合的误报率都下降了2.8至11.5个百分点。对于其中一个模型，审计曾报告错误的过程会进一步减少误报。信号检测分析表明，变化来自判定阈值移动，而不是辨别能力下降。人工检查50个误报后发现，82%确实是错误警报。启用推理能力后，这一阈值效应仍然存在。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。