AI看长视频,模型需要逐帧把画面编码成视觉Token,再送进语言模型理解。
帧数一多,重复的画面会吃掉计算和显存;可压缩太狠,短暂出现的线索、前后动作变化又很容易被漏掉。
针对这一问题,来自中山大学、香港理工大学等校的研究团队提出了V-CAST:在视觉Token送入语言模型前进行筛选剪枝,全程免训练、即插即用。

剪枝后还能保留多少理解能力?团队在Qwen3-VL、LLaVA和Qwen2.5-Omni的6个模型配置、10个视频及音视频基准上进行了验证:
剪枝后还能保留多少理解能力?团队在Qwen3-VL、LLaVA和Qwen2.5-Omni的6个模型配置、10个视频及音视频基准上进行了验证:

视频模型将画面编码成视觉Token。帧数越多,语言模型生成答案前的预填充计算越重。重复背景和动作也会占用计算与显存,因此可以先筛掉部分Token。
难点是,动作排序、计数和事件定位需要串起不同时刻的线索。若预算集中在少数画面上,模型就可能漏掉动作前后的变化。因此,压缩既要覆盖不同时间段,也要保留帧内细节。V-CAST先决定每帧留多少Token,再决定留哪些,并保留原有时空坐标。
每帧该分到多少Token?均匀分配能兼顾各个时刻,却不会区分短暂的动作切换与长时间重复的背景。
按全局差异分配预算容易找到特别的画面,却可能遗漏阶段之间的变化。V-CAST关注相邻帧的转折,把更多预算分给动作或场景正在变化的时刻。

压缩后的内容还需与原位置对应。Qwen3-VL为视觉Token记录时间、高度和宽度坐标。将不同位置的Token合并后,新特征就难以对应到某个原始位置。
V-CAST直接选择Token子集,保留原始顺序和坐标。为验证这一选择,论文比较了局部池化、固定位置选择与随机选择。

在相同25%保留率下,两种直接选择策略均优于局部池化,支持了保留位置对应关系的设计。
基于这两个观察,V-CAST在视觉编码与投影之后、语言模型预填充之前,依次完成帧间预算分配和帧内筛选。

V-CAST用平均特征概括每帧,再用局部曲率衡量特征随时间变化的转折。转折越明显,分配的Token越多,同时为每帧保留最低额度,兼顾变化与覆盖。
拿到每帧预算后,V-CAST给Token计算两项得分:
两项得分相加后,每帧按预算保留高分Token,兼顾显眼区域与局部细节。整个过程无需计算Token两两相似度,额外开销较小。
选中的Token沿用原始顺序、时空坐标和位置编码。整个流程无需训练,也无需提取解码器注意力权重。
实验从Qwen3-VL-8B扩展到32B、MoE、LLaVA和音视频模型,在统一设置下与其他五个方法进行比较。
Qwen3-VL-8B主实验覆盖32/64帧输入、25%/15%视觉Token保留率,在四个视频理解基准上比较表现。

32帧、25%保留率下,V-CAST四项基准平均得分63.1,达到原模型的98.2%。64帧下得65.0分,比次优方法VidCom²高1.0分。预算压至15%时,32帧和64帧的平均分仍均为所比较压缩方法中的最高。
扩展到Qwen3-VL-32B-Instruct后,在32帧、25%保留率下,V-CAST平均得分66.5,高于VidCom²的65.6。

剪枝还让部分受显存限制的评测得以完成。同一运行配置下,未压缩的Qwen3-VL-30B-A3B-Instruct无法完成64帧评测;V-CAST在25%保留率下完成评测,平均得分68.1。

换到LLaVA-OneVision-7B(32帧)和LLaVA-Video-7B(64帧),保留25%的视觉Token,仍分别达到原模型99.5%和95.4%的平均表现。

在Qwen2.5-Omni-7B的768帧实验中,音频输入保持完整,视觉Token保留25%。V-CAST五项基准平均得分49.6,达到原模型的97.1%,总推理耗时降低50.0%。

更多帧既带来新线索,也带来重复画面。实验将输入从32帧增加到256帧,检验模型能否利用新增信息。在256帧下,V-CAST四项长视频评测平均分领先VidCom²1.5分。

剪枝主要减少预填充计算,完整评测还包含视频读取、视觉编码和答案生成,因此总耗时降幅更小。测试采用Qwen3-VL-8B-Instruct,在VideoMME上输入32帧、保留25%的视觉Token。

相比未压缩模型,V-CAST预填充延迟降低51.2%,峰值显存降低13.0%,完整评测耗时降低13.6%。LLaVA-OneVision-7B的预填充耗时也从96.6秒降至26.5秒,峰值显存降低11.4%。

在相同预算下替换各个组件后,曲率分配在32帧和64帧下均取得最高平均分。以32帧为例,MLVU与VideoMME总体得分的均值从全局独特性策略的62.6升至63.1。
帧内筛选也需要两个信号互补:只看特征差异可能漏掉与整帧特征相近的关键信息,只看激活强度又可能留下重复区域。两项得分结合时,平均分最高。
曲率分配也可单独复用。实验保留VisionZip和VidCom²原有压缩机制,加入曲率预算分配。在25%保留率下,两者在LongVideoBench、MLVU和VideoMME上均有提升。

在寻找黄道光出现日期的案例中,关键线索只出现片刻;统计釉色种类则需关注多个上釉阶段。V-CAST分别在天象出现的片段和上釉转折处保留了更多Token。

保留的画面也影响最终回答。在婚礼集数定位和杂技动作识别两个案例中,V-CAST均给出了正确答案。

总体而言,V-CAST通过曲率分配时间预算、双锚点评分筛选空间细节,并保留原始坐标,在无需训练的前提下压缩视觉Token。
不同模型和输入长度上的结果表明,合理分配有限预算,有助于兼顾视频理解表现与推理效率。
论文题目:V-CAST:Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models 作者:林欣莹、刘旭洋、王一宇、马腾、李佳晟、温子辰、任文琦 单位:中山大学深圳校区、深圳河套学院、香港理工大学、香港科技大学(广州)、上海交通大学
项目主页:https://xinyouu.github.io/V-CAST/
代码:https://github.com/xinyouu/V-CAST
文章来自于"量子位",作者 "V-CAST团队"。