DISCO：通过解耦信息 grounding 与推理实现分布式长上下文扩展
DISCO 是一种用于处理大语言模型超长上下文的方法。多个 Worker 模型将上下文划分为不同部分，并行搜索和提取信息；中央 Driver 模型负责规划任务并汇总结果。该方法旨在缓解上下文窗口变长后推理质量下降的“上下文腐化”问题。根据论文所述结果，DISCO 在包含 100 万个 token 的 RULER-QA 上达到 78.4% 的准确率，在 LongBench v2 上最高提升 9.8 个百分点，并将推理成本降低超过 80%。这些数据来自该研究的报告，仍需经过独立验证。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。