arXiv cs.AI· Jungseob Lee, Seongtae Hong, Dongyub Jude Lee, Chanjun Park, Jaehyung Seo, Sugyeong Eo, Heuiseok Lim·· 9 小时前AI 评分29
GLANCE：面向视觉语言模型无损推测解码的一次性块草拟
Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models
AI 导读
GLANCE 是一种一次性块草拟方法，可在不改动 VLM 目标模型的前提下实现无损推测解码，其块扩散头在一次前向传播中读取已融合的视觉语言状态并草拟整个 token 块。在固定轮次预算的生产引擎中，GLANCE 解码速度最高达自回归解码的 3.05 倍，在 grounded 任务上平均优于生产级 EAGLE3-VL 头约 11%。代码已开源。
来源：arXiv cs.AI · arxiv.org