VibeWorlding：多模态智能体能否端到端构建3D开放世界？
VibeWorlding是一套用于评估和训练多模态智能体的框架，旨在让智能体根据用户指令创建交互式3D世界。其VWE-BENCH包含2616个3D资产、323个由人工标注的初始世界，以及6828条多模态查询。VibeWorlding-Gym通过MCP工具整合资产检索、编辑和渲染，并利用基于评分标准的验证器检查物理可行性和用户意图的满足程度。实验表明，当前多模态大语言模型仍难以稳定完成这项任务；即使是参与评测的前沿模型，成功率也低于60%。强化学习能够改善精确的3D世界编辑。研究团队称，VibeWorlder-30B-A3B在所有受测模型中取得了最高的Pass@1成绩。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。