冰箱里的大象：面向长视频理解的恒定内存帧打包方法
视觉语言模型（VLM）处理长视频时，视觉 token 数量通常随视频时长增长，导致内存消耗和推理时间上升。FramePack-U 是一种无需训练的方法，可将视频压缩为固定大小的表示，从而保持内存消耗恒定。该方法根据帧与文本提示的相关性及视觉多样性为帧评分，再以不同分辨率将其装入固定长度的上下文窗口。作者称，FramePack-U 在 LongVideoBench、MLVU 和 Video-MME 上优于多种对比方法。使用 Qwen3.5-35B-A3B、帧预算为 128 时，作者报告其相较官方模型分别提升 12.9%、10.6% 和 9.7%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。