谷歌推出 Sleep Framework，探索让语言模型持续学习
Google Research 发布了一套旨在帮助语言模型吸收新信息、同时保留已有知识的框架。模型运行分为“清醒”和“睡眠”阶段：清醒时将输入暂存于短期记忆，睡眠时则整合记忆并利用合成样本训练。公开实验显示，该方法在持续翻译、长上下文理解、事实知识吸收和数学推理任务上优于多种基线方法。研究团队称，模型可处理约 1000 万 token 的上下文，并在分阶段学习陌生语言时几乎没有性能下降。
本文来源：IT之家，仅供学习参考，版权归原作者所有。