arXiv cs.CL· Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Risheek Garrepalli, Mingu Lee·· 2 小时前AI 评分22
基于激活信息与几何分析的 LLM 隐藏状态多层选择，提升 EAGLE3 投机解码
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
AI 导读
研究者提出一套面向投机解码的多层隐藏状态选择框架，用矩阵熵衡量信息量、用 CKA 衡量多样性，并引入 token-entropy filtering 剔除低预测熵 token 的隐藏状态。在 EAGLE3 风格的投机解码中，该方法选出的层组合优于固定基线，包括默认的 [2, N//2, N-3] 规则。该工作已被 NeurIPS 的 Axiom、GDDL、PriGM 三个 Workshop 接收。
来源：arXiv cs.CL · arxiv.org