Transformer 的条件无毛定理：语言模型如何忘记提示词
这项研究考察自回归 Transformer 在生成更多 token 时能保留多少提示词信息。对于两个不同的提示词，如果后续文本相同，它们隐藏状态之间的距离会大致按幂律下降。训练过的模型比未训练模型忘得更快。研究人员在特定假设下，为有限深度 Transformer 证明了一个上界，该上界取决于提示词长度、模型深度以及生成 token 数量的对数。随着上下文变长，提示词的直接影响会被稀释；后续 token 对这种影响的传递最多只会带来对数因子。一个可精确求解的线性模型也支持该上界。对注意力 logits 添加偏置的实验表明，抵消稀释效应可以在训练早期阻止衰减，并在之后使其反转。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。