Apodex Discovery:用于评估和构建发现型人工智能的现实基准与环境
Apodex Discovery是一套用于开发和评估发现型人工智能的框架,目标是让AI系统执行长期、具备状态管理且可验证的调查。其“重型求解器”将基础模型、工具、控制策略和执行环境结合起来。项目调查了561个行业,汇集423个高价值现实问题,并在首个版本中选出20个。统一的任务—回合结构支持数据、工具、约束、反馈、轨迹记录,以及对中间产物和最终结果的验证。HDS6分别评估工具使用、修复、替代方案、一致性、证据和范围,而不只关注最终任务是否成功。在AAV衣壳设计中,研究人员称其在多个指标上比已发表的最佳结果高出7%。在药物再利用和配方改良任务中,专用生物医学环境使两个GPT系统的平均标准化预测分数分别提高2.5和7.6分。该框架旨在推动AI评估超越固定基准,转向面向真实发现的可验证调查。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。