并非被准入，而是被聚集：注意力如何让潜变量变得可语言表达
一项针对开放权重语言模型的研究，探讨潜在信息如何转化为模型能够报告的形式。研究人员使用雅可比透镜，在共享相同上下文的基准任务上进行测试，未发现预测中的独立“闸门”机制。相反，注意力机制会在模型中等深度的区域聚集信息，使变量能够在查询位置被读取。这种效果取决于任务需求，并在两种不同架构中出现在相近的相对深度。研究定位了变量变得可读的位置，但没有揭示信息传输的完整路径。研究还指出，探针测得的可见性并不能经过校准地代表该信息对最终答案的因果性使用程度。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。