将八叉树作为显式的3D语言
OctLLM是一种多模态语言模型，将3D几何表示为显式的八叉树占用标记序列，而不是压缩为潜在码本索引或坐标文本。其稀疏八叉树表示在保留空间和深度信息的同时缩短序列。为增加3D能力，模型采用独立的可训练分支，并冻结预训练的语言和视觉路径，因此所需训练参数远少于完整微调。研究人员称，与ShapeLLM-Omni相比，OctLLM将图像到3D的FID降低17.4%，并将基于渲染结果的描述生成提升28.7个百分点，同时在通用语言基准测试中保持基础模型的性能。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。