嵌入是否定价过高？面向小型和三值语言模型的 16 MB 冻结词表
一项研究考察小型语言模型是否需要大型可训练嵌入表。在 Gemma 3 270M 中，嵌入表占据 2.68 亿参数中的 1.68 亿；由于嵌入以 16 位精度存储，即使模型其余部分经过量化，它仍占文件的大部分。研究人员将其替换为一个 16 MB 的冻结表，其中包含 512 位代码，并通过主成分投影和符号二值化从预训练嵌入一次生成。使用相同的 20.5 亿个 token 从头训练后，冻结表模型的可训练参数少 2.6 倍，但在多项基准测试中达到相当或更好的表现。结合三值 BitNet b1.58 主体后，整个模型大小为 46 MB，在笔记本电脑 CPU 上每秒可生成 615 至 740 个 token。它对稀有词和训练后新增词的处理也更加稳定。研究团队已公开模型权重、数据和全部评测答案。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。