跳到正文
arXiv cs.CV· Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li·· 5 小时前AI 评分22

OmniSelect:面向高效全模态大语言模型的动态模态感知 token 压缩

OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

AI 导读

OmniSelect 是一个免训练、模态自适应的 token 剪枝框架,用于全模态大语言模型的高效推理。它借助轻量级 AudioCLIP 估计跨模态相关性,将输入划分为 Audio-Centric、Video-Centric 和 Uniform 三种剪枝模式,并在各时间组内自适应分配剪枝比例。

来源:arXiv cs.CV · arxiv.org