rTaste：研究代理有“研究品味”吗？评估研究早期阶段的判断力
一项研究测试了六种前沿模型能否在结果未知时判断哪些实验值得开展。针对七篇近期 NLP 论文，模型提出了 415 项最低可行实验（MVE），预测实验是否成功并进行排序。独立执行者尝试了全部实验，另有三名模型审查者评估结果。415 项中，194 项被认为可靠、有价值且新颖；但同时被认为并非显而易见、且超出种子论文范围的只有 73 项。代理的首选比随机选择更常与审查者最认可的实验相符，但没有证据表明其优于直接选择列表中的第一项实验。代理预测优于基准率，却未能显著优于同一模型的新实例在仅获得论文和预注册信息后作出的预测。团队合作成本更高，却没有明显提升提案质量。研究表明，代理能够提出有价值的实验，但目前证据有限，尚不能证明其排序能改善实验选择。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。