Lab2Sim 将真实实验视频转化为可交互的虚拟实验
Lab2Sim 是一个包含 218 个科学实验视频和 11,881 项评分标准的基准测试。研究团队还提出了 EduVideo2Code：该方法分层提取实验步骤，将其表示为状态机，并通过运行生成的页面进行验证。多模态模型能够生成可运行的页面，但难以忠实还原实验装置。在两种基础模型上的实验显示，EduVideo2Code 提升了全部四项评估指标，其中实验装置还原度提高了 24.15 分。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。