IndicBankBench评估印度零售银行业语言模型助手的安全性与可靠性
IndicBankBench是一套包含799个案例的基准测试，用于评估面向印度零售银行业务的语言模型助手。测试涵盖五个运营领域、一个能力与拒答领域，以及20个评估维度，考察安全性、操作与工具使用、回答适切性和建议质量。研究人员对11个模型分别进行了三次测试。三次均通过的严格可靠性为43.7%至58.2%；至少成功一次的比例为60%至74%。这一差距表明，偶尔成功可能会高估模型在银行业务中的可靠表现。研究团队将公开测试案例、模拟环境和评估工具。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。