Skaling：结合 Chinchilla 指数与 Kaplan 耦合模型
该研究提出 Skaling 定律，用于扩展现有的语言模型缩放定律。该方法不再假设模型规模和训练数据对损失的影响彼此独立，而是通过单一交互指数对二者进行联合建模。研究结果显示，在插值和外推场景中，平均绝对百分比误差可降低约 1.5 至 3 倍。结合仅覆盖低计算量区域的稀疏网格策略后，Skaling 还能以约为均匀扫描十分之一的计算量，准确外推完整网格的结果。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。