LayerRecall:面向长时段一致性视频生成的状态条件记忆路由器
LayerRecall是一种面向自回归视频扩散模型的状态条件、分层选择式记忆路由器。它检索相关的历史键值状态,仅将其注入对长程记忆敏感的网络层,同时在其他位置保留局部注意力。其跨时域预测匹配方法利用拥有完整长上下文的参考信息训练有限记忆路由器,减少对显式记忆分配标注的依赖。在100个多镜头提示的评测中,LayerRecall在MemoBench和MovieBench上取得最佳综合结果,在VBench-Long上达到与基础模型相当的表现,并几乎没有增加推理开销。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。