代码即世界:通过智能体发现用于物理推理的可执行世界表征
该研究提出“Code-as-World”,将物理世界表示为可执行代码。代码以紧凑、可控且具有定量依据的方式描述物体构成、动态变化和视觉外观。系统通过一个智能体循环,依据自然语言描述或现实世界视频等多模态观测,提出、执行、渲染、验证并反复改进世界假设。经过验证的可执行世界表征可作为可扩展的监督信号,用于训练视觉语言模型进行定量物理推理。研究人员表示,Code-as-World-VL在QuantiPhy基准测试中取得领先性能,并超过了多个主流专有模型。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。