MixTok:结合全局 1D Token 与稀疏 2D 细化的自适应视觉 Token 化
MixTok 将紧凑的全局 1D 表示与经过筛选的 2D token 结合,用于细化图像局部细节。内容自适应路由器会评估图像各位置的优先级,并根据目标平均 token 预算决定 2D token 的数量。在 256 × 256 的 ImageNet 图像上,作者报告称该方法在重建和生成方面表现具有竞争力:平均约 128 个 token 时 rFID 为 1.195,约 131 个 token 时 gFID 为 1.95。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。