识别不等于证据落地:多语言财务证据提取基准测试
MULTIFINGROUND 是一项基准测试,用于评估语言模型能否跨语言识别财务概念,并完整提取与之对应的数值证据。该基准采用 90 家发行机构以英语、法语和希腊语发布的 2025 财年披露文件。在测试的 15 个模型中,8 个 API 或开放权重参考模型的概念识别准确率达到 97.3% 至 99.4%。然而,在概念识别正确的分组中,这些模型仍有 26.6% 至 41.9% 至少遗漏一项目标事实。研究表明,概念识别能力强并不意味着证据提取完整。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。