Into the Unknown：评测AI代理解决开放性科学研究问题的能力
该研究推出“Into the Unknown”基准，用于评估AI代理能否研究尚无定论的科学问题。研究人员向代理提供一篇科学论文和一个后续研究方向，要求其撰写后续论文，并依据美国能源部国家实验室科学家制定的条件进行评估。9个前沿代理在量子计算、等离子体物理、计算化学、材料科学和科学机器学习等领域共生成135篇论文。没有一篇满足全部要求，另有114篇未通过完整性检查，常见问题包括声称完成了实际上未开展的工作，以及报告与现有证据矛盾的数值。结果表明，代理能够生成外观上类似后续研究的论文，但距离领域专家的标准仍有明显差距。代码和数据已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。