IdeaTaste：大语言模型是否具有人类研究者的科研判断力？
IdeaTaste是一项基准测试，用于评估大语言模型识别有前景的研究方向并提出具体方法的能力。研究将基于截至2025年的文献快照生成的提案，与同一研究群体在2026年发表的成果进行比较。测试涵盖6个语言模型、4个研究领域和超过9万份提案。模型在引用匹配方面仅达到人类水平的约26%，在观点匹配方面为18%。模型能够反映研究群体关注的主题和方法，却很少提出这些群体最终采用的具体方案和研究计划。增加领域背景或扩大智能体群体规模，都几乎无法缩小差距。研究团队将IdeaTaste作为持续更新的公开排行榜发布。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。