SciΠvot：评估科学自动研究代理在关键时刻的首席研究员判断力
SciΠvot是一项包含248个案例的基准测试，用于评估基于大语言模型的科研代理的科学判断能力。该基准来自为期六个月的研究记录，涵盖六个科学领域的26个项目；在研究过程中，资深研究人员多次纠正代理的研究判断。每个案例要求模型仅依据纠正前可获得的项目记录，在原始LLM方案与人工修正方案之间进行选择。在选定案例中，五个前沿模型有四个的表现低于随机水平。使用项目记录时，模型的最高准确率为63.5%，低于新入行研究人员的73.4%。增加推理投入和重新考虑也未能稳定提升准确率。研究表明，当前模型在依赖具体语境的科学决策方面仍存在明显困难。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。