arXiv cs.CL· Woosang Lim, Haneul Yoo, Vincent-Daniel Yun, Sungjoo Yoo·· 5 小时前AI 评分27
LayerTrim：面向推理语言模型的免训练结构化剪枝方法
Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming
AI 导读
LayerTrim 是一种免训练的结构化剪枝方法，通过识别冗余解码层并选择性裁剪其 MLP 特征、同时保留注意力和解码深度，避免长链推理任务性能崩塌。在三个推理语言模型和五个基准上，其平均准确率最高超过 RESP 21.4 个百分点；在 Qwen3-14B 上实现 1.24 倍 prefill 加速、峰值 GPU 显存降低 19.7%，并取得评测剪枝模型中最短平均生成长度与最高平均准确率。
来源：arXiv cs.CL · arxiv.org