分析：2019年至2025年，预训练计算效率的提升主要来自数据改进
Dwarkesh Podcast的一项分析回顾了六年的预训练进展，并区分了数据改进与模型改进各自带来的影响。分析认为，2019年至2025年间计算效率的大部分提升来自更优质的数据，而不是模型架构的根本性进步。内容还评估了数据质量和模型开发在人工智能快速发展中的相对作用。
本文来源：Techmeme，仅供学习参考，版权归原作者所有。