离散 token 能否在不损失语义的情况下表示视觉信号？
一项研究重新审视了“量化误差必然限制离散视觉 token 语义保真度”这一假设。研究人员发现，有效比特预算与多模态理解性能的关联，比量化误差大小更为密切。其方法 Factorized Vector Quantization（FVQ）使用并行码本量化视觉特征的互补视图，并在比特预算增加时持续提升性能。研究称，该模型在九项指标的平均成绩上，比 UniAR 和 Emu3-Chat 等离散表示模型分别高出 22.8% 和 59.2%。在多模态理解方面，该模型也达到与连续表示模型相当的水平，包括细粒度 OCR 任务。代码和模型已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。