SciGame：在真实与反事实世界中评测智能体的科学发现能力
SciGame 是一项受控基准测试，将科学文献转化为结构化卡片。每张卡片都配有一个原始环境和一个维度一致、任务接口相同的反事实环境。基准既包含经典历史定律，也纳入模型知识截止时间之后发表的论文中的最新发现。对五个前沿模型的实验表明，当支配关系发生变化时，熟悉的先验知识可能反而损害表现。自适应实验有助于较强模型，但预算有限时可能不利于较弱模型。此外，看似合理的解释可能掩盖定量错误。找出定律精确的符号形式仍是一项关键挑战。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。