DepthBench 衡量残差连接如何提升计算深度
该研究提出了 DepthBench，这是一个用于评估 Transformer 模型计算深度的受控基准。研究人员在保持模型规模和预训练方案不变的情况下，系统调整了 10 种代表性架构的宽度与深度比例。标准 Pre-LN 以及大多数基于归一化或缩放的变体，从增加深度中获得的收益有限；当模型变得更深更窄时，性能甚至可能下降。相比之下，HC 和 Full AttnRes 即使在极端深层配置下也能持续提升性能。研究结果表明，残差连接设计是决定额外架构深度能否转化为有效计算和更佳领域性能的关键因素。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。