UltraBERT：突破 BERT 预训练的极限
这项研究重新审视了双向编码器训练中的关键设计。研究发现，训练数据达到数万亿个 token 后，继续增加算力对下游任务的提升有限。较低的掩码率更利于分类，较高的掩码率则更利于信息检索。UltraBERT 在一个批次中结合两种掩码率，并将蒸馏目标限制在较低掩码率。作者称，该模型在 GLUE 上得分 91.0、在 BEIR 上得分 47.7，在分类和检索任务上均达到领先水平。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。