arXiv cs.LG· Avichal Sahai (Ofbusiness), Nishant Raj (Ofbusiness), Animesh Srivastava (Ofbusiness)·2026-10-07 12:00· 11 小时前AI 评分26

研究揭示 bf16 转换导致三元语言模型导出后精度大幅回退

Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes

AI 导读

研究审计了 BitNet b1.58、Falcon-E 和 BitCPM 三个实验室的三元语言模型导出流程，发现文档化的 bf16 转换步骤会使已发布 checkpoint 中 0.83%-1.77% 的三元码与 fp32 量化结果不一致。

来源：arXiv cs.LG · arxiv.org