预训练数据留下的词汇印记
本研究探讨预训练语料与基准测试之间的词汇对齐程度如何关联零样本准确率。研究提出 UCE，这是一种不依赖分词器或模型、基于词级单元交叉熵的衡量指标。在涵盖四种语料、三种模型规模和十项基准测试的受控实验中，词汇对齐程度越高，准确率也始终越高。研究还发现，选择词汇对齐度更高的训练文档，以及将提示路由到词汇更匹配的领域专用起草模型，都能带来预期收益。结果表明，预训练数据会在基础模型的零样本行为中留下可测量的词汇印记。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。