学习如何学习一种语言
研究人员提出了 Prior-Fitted Language Model（PFLM），这是一个拥有3亿参数、仅使用合成非语言数据预训练的 Transformer。尽管从未见过任何真实语言，模型在冻结权重的情况下，仍能根据真实文本的前缀推断上下文中的语言。在六种语言的维基百科文本上，随着上下文长度增加，其每字节比特数显著下降。模型还能够学习数字规律、比较大小、近似加法，预测确定性序列，并在源代码、语音等多个非文本领域中实现优于 gzip 和 PPMd 的压缩效果。研究结果表明，模型学到的并非某种特定语言，而是推断和学习新统计结构的能力。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。