iPrefBench：面向个性化移动代理的以用户为中心的基准测试
iPrefBench用于评估移动代理能否从用户活动历史中推断未明确说明的任务信息，并在必要时主动提问。该基准包含跨26款应用的130项任务，以包含3,051条历史活动记录的用户画像为基础，并在配有模拟用户的可执行iOS环境中运行。对7款前沿代理的评估显示，任务执行与个性化能力之间存在明显差距：操作完成率最高为91.6%，但完整任务成功率最高仅为47.7%。代理尤其不擅长询问那些无法从历史记录推断、但完成任务所必需的信息。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。