你不需要长上下文
生成后面的 token 比生成前面的 token 成本更高；在前沿开放权重模型中，差距最高可达 7 倍。研究表明，在多种长输入和长期任务中，频繁压缩上下文几乎不会降低准确率，甚至完全不影响准确率。即使每个上下文最多只执行一次操作，模型在长期软件工程任务中的表现也不会崩溃。研究人员据此提出语义状态空间模型（SSSM）的概念，并质疑长上下文语言模型是否确有必要。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。