AstroPT 对星系的认识，以及它能为大语言模型带来什么启示
一项可解释性研究将 AstroPT 用作受控测试平台。AstroPT 是一个使用数百万张星系图像训练的 Transformer，用于检验分析大语言模型的方法。天文学提供了已知的真实基准：研究人员事先知道不同概念的学习难度及其物理关系。几乎直接编码在像素中的属性，例如波段星等，会在训练早期和较浅的网络层中变得可解码。需要推断的属性，例如红移和比恒星形成率，则在更晚阶段、更加深层的网络中出现。这一顺序不受所测试训练目标的影响；随着模型容量增加，变化的是规模而非顺序。线性探针还恢复了星系属性之间已知的物理结构。研究结果表明，天文学模型可以帮助校准原本缺乏真实基准的大语言模型机制可解释性方法。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。