arXiv cs.LG· Tianxiao Cao, Jiahe Shao, Yuning Qiu, Kyohei Atarashi, Hisashi Kashima, Qibin Zhao·2026-10-08 12:00· 6 小时前AI 评分22

SLBF：面向 MoE 大语言模型的无数据低秩基分解压缩方法

Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression

AI 导读

研究者提出 Shared Low-rank Basis Factorization（SLBF），一种无数据的权重重建方法，通过在专家间共享 rank-k 基实现更充分的跨专家共享、更快收敛与更低重建误差，并用后处理 gauge fixing 在不损失表达能力的前提下移除冗余参数。

来源：arXiv cs.LG · arxiv.org