ASI-Bench：人工超级智能的黎明
ASI-Bench是一项用于评估AI系统能否在有限人类指导下开展科学研究并创造新知识的新基准。该基准涵盖11个科学领域的60项项目级研究任务，并逐步减少人类提供的方法指导。在对18种先进代理与模型配置的测试中，系统在获得完整方法指导时的平均得分为50.91；当必须自行选择研究方法时，得分降至26.62。结果表明，当前AI系统仍高度依赖人类指导，距离自主完成端到端的科学研究还有明显差距。ASI-Bench由40多位专家开发，并向全球研究人员和开发者开放提交新任务。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。