构建用于自主发现线性注意力架构的AI研究团队
一项研究探索了由自主AI研究员组成的协作团队。这些智能体能够提出想法、修改代码并运行实验，拥有不同专业背景，保留私有研究历史，共享实验依据，并通过自适应分配获得研究机会。该设计旨在实验预算有限时平衡探索与利用。在搜索线性注意力架构的任务中，该团队在13亿参数规模下，于语言建模、常识推理以及合成和真实世界检索任务中超过了GDN2。对照实验表明，去除学科背景差异、私有研究历史或自适应选择机制中的任一项，都会导致发现能力明显下降。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。