GraphDecisionBench：评测 System One 模型的图任务能力
该研究提出模型无关的 GraphDecide 基准，用于评估模型在图决策任务中的能力。基准结合结构化任务画像、图输入与图文联合输入的对照，以及基于启发式候选方案的控制实验。在 14 种模型与接口配置中，研究人员将 Jev 及相关选择型模型与语言模型基线进行比较。结果表明，准确识别邻接关系并不保证更广泛的结构正确性；联合输入图和文本也不会稳定提升预测效果；能够构造出可行方案同样不代表方案质量较高。研究已公开代码和汇总结果。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。