arXiv cs.AI· Zhen Li, Shuai Zhang, Yanggan Gu, Yiming Zhang, Yang Yu, Mingfa Feng, Congkai Xie, Shuang Yu, Junjie Lai, Hongxia Yang·· 12 小时前AI 评分22
TRIAGE:面向原生 NVFP4 强化学习的方向感知失配稳定方法
TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning
AI 导读
TRIAGE 是一种方向感知的稳定方法,通过段级诊断选择性再平衡策略梯度更新,并对残余严重失配做有界修复,从而在采样器和学习器上保留原生 NVFP4 的 W4A4 前向执行。在 Qwen3-4B 与 Qwen3-30B-A3B 上,该方法在整个训练周期内保持稳定优化,在五个数学推理基准上达到全精度水平,rollout 吞吐量较 BF16 最高提升 2.3 倍。
来源:arXiv cs.AI · arxiv.org