跳到正文
arXiv cs.AI· Songlin Jiang, Zhiyu Li, Terry Kong, Yu Yao, Youngeun Kwon, Bernard Nguyen, Ashwath Aithal, Mario Di Francesco·· 9 小时前AI 评分31

NeMo-DCR:面向万亿参数智能体 RL 的比特精确增量压缩重配

NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

AI 导读

NVIDIA 提出 NeMo-DCR(Delta-Compressed Refit),只传输权重变化量却保持比特精确,接收端得到与全量重配完全相同的参数和 buffer 位。

来源:arXiv cs.AI · arxiv.org