arXiv cs.CL· Zhaohui Geoffrey Wang·· 4 小时前AI 评分23
研究揭示 LLM 后训练中 RankMe 监控失效:秩上升不等于健康
When Rank Rises as LLMs Degrade
AI 导读
针对 Qwen3-0.6B 的受控研究显示,数据重复会使留出损失相对健康状态恶化 75%,同时原始与中心化 RankMe 反而上升,中心化 RankMe 变化达 13.5 个合并标准差,协方差有效秩升至健康值近两倍,属于谱分散而非坍缩,单侧监控会把最差 checkpoint 评为最健康。
来源:arXiv cs.CL · arxiv.org