早期编码，后期使用：Transformer何时开始依据对话伙伴的专业程度行动
一项研究分析了Transformer如何在对话过程中推断并利用对方的专业程度。该属性在模型早期层最容易被解码，但在网络中点之前便降至接近随机的水平。反事实修补实验显示，在早期层注入专业程度差异几乎不会改变输出；在中点之后注入，信号则几乎完整传播。研究结果界定了读取或操控依赖对话伙伴的行为时可能需要介入的位置。这是使用单一模型和合成语料库进行的初步验证。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。