词汇参照框架：以模型自身的语义体系解读语言模型残差流
这项研究提出词汇参照框架，按照模型自身的处理方式读取语言模型的隐藏状态。与固定透镜不同，该框架会考虑后续层和上下文。在 SmolLM3-3B 和 OLMo3-7B 的中间深度，一级方法 LexFrame[1] 达到 0.97 的一致性，与模型输出的差距不超过 0.16 nat。作者还报告称，该方法能提供更忠实的归因分析、更有针对性地操控预测并减少对其他 token 的影响；对于高置信度预测，还有望跳过 42% 至 45% 的层。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。