Runway发布Solaris：可实时生成交互式界面的界面世界模型
Runway发布了Solaris，这是其“界面世界模型”系列的首个模型。公司称，Solaris能够逐帧实时生成图形用户界面，而不是完全依赖预先编写的代码和固定布局。语言模型负责理解用户意图，世界模型则负责渲染和更新视觉场景。在与根据屏幕截图重建的界面进行比较时，Runway表示，基于超过7500次成对比较，Solaris在指令遵循度和行为自然度方面的用户偏好率分别为61%和71%。该系统建立在Gen-4.5视频生成模型之上，并采用自回归生成、去噪蒸馏和持续训练，以降低延迟与推理成本。实时准确生成文字、长期交互中的视觉和语义一致性，以及与屏幕阅读器和无障碍API的集成，仍然是主要挑战。目前，Runway已向部分合作伙伴开放抢先体验申请。
本文来源：AIbase，仅供学习参考，版权归原作者所有。