arXiv cs.CV· Xihua Sheng, Ruijie Liu, Chang Wen Chen·· 2 小时前AI 评分22
视频编解码引导的 VLLM 免训练 token 压缩方法
Video Codec-Guided Training-Free Token Compression for Video Large Language Models
AI 导读
研究者提出一种视频编解码引导的免训练 token 压缩方法，利用压缩视频中已有的编码信息作为低成本搜索先验，将参考帧依赖、运动向量和残差对齐到视觉 token 网格，从而减少 token 保护与跨帧时序合并所需的视觉特征比较。在三个代表性 VLLM 和四个视频理解基准上，该方法性能与免训练 SOTA 基线 FlashVID 相当，部分设置下更优，同时大幅降低特征比较开销。
来源：arXiv cs.CV · arxiv.org