仅凭分数无法证明发现:用于审计人工智能研究代理的发现认证协议
人工智能研究代理结合已有知识、公开信息和实验反馈来产生结果。发现认证协议(DCP)将关于这些结果的主张转化为可执行的恢复测试和反馈测试。在 SQLite 优化和虚拟催化剂控制的两项受控审计中,96 个实验周期均未观察到恢复,恢复率上限为 0.0468。配对研究中,真实反馈带来了 30 次恢复,而中性策略下为零;配套的零假设校准研究也通过。一个不使用大语言模型的确定性验证器能够根据冻结证据复现判定结果。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。