arXiv stat.ML· Haodong Liang, Yanhao Jin, Krishnakumar Balasubramanian, Lifeng Lai·· 1 天前AI 评分22
SFT 与 RFT 在分类任务上的对比研究：学习风格，遗忘语义
Learning Style, Forgetting Semantics: A Case Study of SFT and RFT on Classification Tasks
AI 导读
一项 arXiv 研究用可解析的线性-softmax 策略，对分类任务中 SFT 与 RFT 的更新做了语义与风格分解：在相同策略和提示词下，两者语义更新平行，但风格动态不同。RFT 用精确策略梯度可保持类内风格对称，而 SFT 在非均匀教师下会产生偏离轴的风格漂移。该漂移在显式条件下导致分离：从同一完美拟合检查点做群体更新时，SFT 的遗忘在有限训练区间内有严格正下界，RFT 则保持零语义误差。
来源：arXiv stat.ML · arxiv.org