只在需要时查看：证书引导的视觉路由提升扩散式 VLM 效率
扩散式视觉语言模型会在每个去噪步骤重新处理整个输入图像。研究人员发现，移除图像后，正在解除掩码的 token 预测平均仅在 22.8% 的步骤中发生变化。提出的方法 LOWN 会逐步判断是否需要处理图像，以及解除多少 token 的掩码。如果无图像时的预测与最近一次图像条件预测一致，LOWN 就将其认证为可复用预测。无需额外训练或调整阈值，LOWN 在十项基准测试中平均保留 LLaDA-V 99.6% 的得分，同时仅使用 35.3% 的解码 FLOPs。该方法还可与视觉 token 剪枝和键值缓存结合。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。