Cortex：将上下文整合为参数化记忆
上下文可以提升大型语言模型的性能，但移除上下文后，这些收益可能随之消失。一项新研究提出“记忆整合”方法，旨在将上下文带来的改进内化到模型中，同时保留非目标能力。Cortex会生成前瞻性查询，以预测上下文可能的用途，再将依赖上下文的输出蒸馏为可合并的模型更新。在涵盖五类任务及40亿至1200亿参数模型的测试中，Cortex在多数评估设置下处于整合与保留之间的实证帕累托前沿。在一个140亿参数模型上连续进行50次事实编辑后，Cortex-Structural恢复了上下文带来增益的88.9%，同时保留了非目标任务原有性能的99.8%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。