StreamOPD:采用时空线索门控的流式视频理解后训练方法
StreamOPD研究在不增加推理时记忆、检索或压缩的情况下,仅通过后训练提升流式视频理解能力。该方法结合可验证的流式视频数据、思考模式下的在线策略蒸馏,以及指令模式部署。StreamingBench成绩从77.9%提升至83.9%,与9B教师模型的差距缩小到0.3个百分点以内。其扩展方法ST-CueGate利用教师模型针对时空线索的信号重新调整蒸馏权重,并在多个基准测试中取得改进。在线策略自蒸馏保留了大部分收益,同时提升了幻觉检测性能。研究团队将其作为流式视频开源研究的透明、可复现参考方案。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。