arXiv stat.ML· Renjie Xie, Juncheng Yang, Aoting Hu, Yan Liang, Mingxi Zhang, Zheheng Hong, Wei Xu, Yanzhi Chen·· 5 小时前AI 评分18
NatScale：面向混合精度 MoE 量化的对比校准分配框架
Beyond Expert Rankings: Contrast Calibration for Mixed-Precision MoE Quantization
AI 导读
研究者提出 NatScale，一种面向混合精度 MoE 量化的对比校准分配框架，通过模型专属的幂变换将基于梯度的专家权重校准到信息论对比目标，同时保留专家排序。
来源：arXiv stat.ML · arxiv.org