空间记忆智能:为世界模型赋予基于理解的长期记忆
长视频生成和世界模型能够根据用户操作与历史信息预测后续观测,但在长序列中管理复杂的空间上下文仍具挑战。Spatial Memory Intelligence(SMI)是一种利用理解模型管理长视频世界模型空间记忆的框架,包含空间聚类、簇内精简、动作感知检索和可靠性筛选。研究在多种基线、基准测试和世界模型骨干上进行了实验,结果显示,SMI在记忆精简度、生成稳定性和空间一致性方面均有所提升。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。