AMLworld-Compact：通过重要性加权下采样降低 LLM 评估成本并诊断错误
AMLworld-Compact旨在降低使用LLM检测非法交易的评估成本：保留所有非法测试交易，并按监督评分分层抽取正常交易。HT-Coreset协议将评估目标数量在HI-Small上减少271倍，在LI-Small上减少611倍。对于固定预测，Horvitz–Thompson权重可无偏估计完整测试集的混淆矩阵计数；召回率可精确计算，精确率和F1则是比率估计。在使用GFP特征的测试中，按已发布的样本规模计算，F1的RMSE为0.00至2.58个百分点，而采用HT权重的均匀抽样为4.44至7.41个百分点；不过，保守区间仍然较宽。在所评估的图提示下，七个开放权重LLM的加权精确率接近“全部判为非法”的基线。评估数据集、构建代码和审计工具均已发布。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。