聚焦关键信息的多模态 GUI 智能体
GUI 智能体会持续处理屏幕截图、音频、视频、交互历史和设备状态。由于信息的相关性随每一步操作而变化，若对所有输入一视同仁，智能体可能受到干扰，并逐渐偏离正确的操作轨迹。研究提出轻量级适配器 FocusGUI，根据当前决策动态筛选多模态信号，并将压缩后的关键信息注入冻结解码器的嵌入表示。该方法仅使用动作监督训练，无需模态相关性标签，也无需微调基础模型。在四种多模态基础模型上的测试中，与冻结模型相比，Type Match 平均提高 33.2 个百分点，Exact Match 提升至三倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。