arXiv cs.AI· Jiaqi Tian, Ting Long·· 6 小时前AI 评分24
通过表征几何正则化缓解 LLM 自我改进中的能力退化
Mitigating Capability Degradation in LLM Self-Improvement via Representation Geometry Regularization
AI 导读
针对 On-Policy Self-distillation（OPSD）在自我改进中会逐步退化已有能力的问题，研究者提出表征几何正则化（RGR），通过增强簇内紧凑性与簇间分离性来保持隐藏表征几何。RGR 可无缝集成进现有 OPSD 方法，在多个 OPSD 方法与基准上普遍缓解能力退化，同时保留能力提升。代码已开源。
来源：arXiv cs.AI · arxiv.org