MemT-1.0：迈向记忆原生演进
MemT-1.0是一种将记忆融入模型计算的基础模型架构，旨在持续积累和利用信息。它结合了Gated DeltaNet-2、逐词元记忆更新机制，以及用于扩展容量的Mixture-of-Storage。该系列模型通过两阶段流程，使用340亿个词元进行训练。研究团队称，MemT-1.0平均优于参数化记忆基线，并能与检索增强方法相竞争，同时基本保留通用能力。在128K词元的历史长度下，MemT-1.0-Nano相比完整上下文KV缓存，端到端推理速度约提升至1.86倍，持久存储需求减少66倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。