研究者提出SLBF无数据MoE压缩方法
热点事件持续更新
研究者提出SLBF无数据MoE压缩方法
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
研究者提出一种名为共享低秩基分解（SLBF）的无数据权重重建方法，用于压缩混合专家（MoE）大语言模型。该方法在专家之间共享 rank-k 基，作者称这能实现更充分的跨专家共享、更快收敛和更低的重建误差。 研究还引入后处理 gauge fixing，作者称其可在不损失表达能力的前提下移除冗余参数。相关论文发布于 arXiv cs.LG。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
SLBF：面向 MoE 大语言模型的无数据低秩基分解压缩方法报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv cs.LGSLBF：面向 MoE 大语言模型的无数据低秩基分解压缩方法
研究者提出 Shared Low-rank Basis Factorization（SLBF），一种无数据的权重重建方法，通过在专家间共享 rank-k 基实现更充分的跨专家共享、更快收敛与更低重建误差，并用后处理 gauge fixing 在不损失表达能力的前提下移除冗余参数。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。