arXiv cs.LG· Xin Wang, Hao Yu, Zhengyang Zhuge, Bochao Mao, Zheng Li, Junda Feng, Yuyan Luo, Yi Zhang, Yizhong Cao, Mi Zhang, Dayiheng Liu, Jianwei Zhang·· 11 小时前AI 评分21
TRACE：面向 MoE 语言模型 FP4 强化学习的 rollout 引导量化感知训练
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
AI 导读
TRACE 是面向 MoE 语言模型 RL 训练的 FP4 量化框架，用 rollout 侧量化结果引导训练侧 FP4 舍入决策，直接缩小训练与 rollout 两条量化执行路径的差异。
来源：arXiv cs.LG · arxiv.org