GameWAM：面向电子游戏的世界-动作模型
GameWAM是一种用于电子游戏和图形用户界面原生闭环交互的世界-动作模型。它能够同时生成未来的视觉观测以及可执行的键盘和鼠标操作轨迹。该系统区分游戏操作与GUI操作模式，通过只执行短动作前缀、再依据新观测重新规划来处理长时程交互，并使用同步的游戏和GUI轨迹进行训练。实验表明，GameWAM在任务成功率方面具有竞争力，同时执行的原生操作少于对比智能体。研究还发现一种失败模式：在条件固定时，生成动作源中的低频成分会系统性地影响摄像机的粗略运动。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。