Ventor-QTest：威胁模型驱动的托管式 LLM API 验证
该研究提出 Ventor-QTest，一种用于审计第三方提供商托管开放权重语言模型所使用推理 API 的黑盒方法。它不需要目标 API 提供概率信息，而是通过重复请求和长序列测试，利用平均保真度损失（AFL）与极端保真度损失（EFL）衡量输出的不稳定性。在多种路由条件下，AFL与基于 logprob 的比较指标表现出较强的描述性一致性。EFL显著升高时，随着任务暴露增加，Terminal-Bench通过率出现下降；但这些指标与 GPQA-Diamond 准确率之间未发现明确的路由层面关联。研究人员建议在评估长程代理任务时同时报告 AFL 和 EFL。相关实现已开源。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。