看元素本身,而非它说了什么:以网页语义保障代理式浏览安全
AI代理常以截图或纯文本读取网页,因此可能被第三方注入内容操控,进而滥用用户授予的权限。研究团队提出Intact,通过名为GenTree的表示方式保留网页语义和来源信息,并逐一将网页元素提供给语言模型。代理的操作仅限于相应元素本身具备的能力;若要处理第三方内容,则须先征求用户同意。在包含攻击的1,091个网页中,只有12.8%的攻击通过Intact的规划器,而传统规划器为73.1%。3.7%的任务出现功能受损。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。