通过目标侧读取器适配实现跨模型记忆迁移
该研究探讨如何在不同语言模型之间迁移外部且冻结的知识记忆。研究人员将一个在源模型上训练的记忆连接到目标模型，只训练一个轻量级读取器。结果表明，存储的知识内容和正确的寻址方式都很重要，但记忆只有在读取器与目标模型对齐后才能有效发挥作用。在受控问答评测中，双层四分支读取器取得了38.8的平均分，几乎缩小了与同模型复用之间的差距。如果源读取器与目标接口直接兼容，冻结的记忆无需目标侧训练也能提供明显效用；当直接复用不足时，进一步适配读取器可以提升性能。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。