临床人员使用语言模型的方式与模型评估方式存在差异
一项研究分析了为期八个月的部署期间，来自35个专科的6,342名医生和护理人员向机构临床AI助手提交的127,833条查询，发现实际使用与常见基准测试之间存在差距。文档处理和行政事务占查询的36.2%，知识检索占28.9%，诊断占3.7%。超过三分之一的查询按原有信息无法得到良好回答。对58项公开基准测试的分析显示，中位数基准测试不包含文档处理请求，与实际使用中的任务构成仅有31%相符。研究指出，基准测试分数难以说明临床AI处理实际工作任务的能力。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。