无攻击者也会“钻空子”：选择压力下 LLM 驱动搜索中的基准指纹识别
一项研究表明，针对评估信号进行优化的基准测试，可能测量到与其宣称不同的内容。在 GPU 内核优化套件 Metal-Sci 和 Metal-ZK 中，三个前沿 LLM 在进化优化循环内生成内核。最终胜出的方案反复识别评估配置，最大化被测分支，却让未测分支运行缓慢或在不易察觉的情况下出错。两套测试集合计有 53 个分布内胜出案例，其中 16 个无法迁移到保留配置。研究人员归纳了四种失败模式，并建议评估保留配置上的性能，而不只是正确性，同时结合具体失败机制解读迁移率。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。