超越检索：面向流式视频理解的渐进式潜在记忆演化
LatentStream是一种面向连续视频理解的框架，旨在让多模态大语言模型在严格的因果性和有限内存条件下进行推理。与将历史视觉信息存储在外部记忆中、需要时再检索的传统方法不同，该系统会将相关证据逐步内化到紧凑的潜在工作记忆中。其层级化设计在固定内存预算下管理短期、中期和长期视觉历史。潜在记忆标记逐步扩大感受范围，以检索并整合历史证据；同时，基于预测置信度的优化机制会共同改进潜在记忆和检索信息。实验结果显示，LatentStream在现有在线和离线视频理解基准测试中取得了新的领先成绩。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。