跳到正文
arXiv cs.AI· Jia-Dong Zhang·· 5 小时前AI 评分22

VALSE:面向大语言模型高效推理的垂直自适应层跳过方法

VALSE: Vertical Adaptive Layer Skipping for Efficient Inference in Large Language Models

AI 导读

VALSE 是一种按样本、非连续的层跳过方法,用轻量难度估计器从前几层为每个输入打分,再通过逐层门控选择性跳过冗余层,包括任意中间层而保留更深层,只为每个输入激活必要深度。论文同时给出期望 FLOPs 闭式公式、跳层模型函数空间为全层函数空间真子集的证明,以及与 MoE 架构的结构对偶关系,可行性已在原型规模初步验证。

来源:arXiv cs.AI · arxiv.org