arXiv cs.LG· Sofia Torres, Gabriel Almeida, Carter Adams, Camila Rocha·· 11 小时前AI 评分24
外部引导何时帮助 LLM 推理？引导增强 GRPO 的偏差-方差理论
When Does External Guidance Help LLM Reasoning? A Bias-Variance Theory of Guidance-Augmented GRPO
AI 导读
研究者提出 Guidance-Augmented GRPO（GA-GRPO）统一理论框架，将外部引导建模为改写问题分布的随机引导算子 G，并把策略梯度估计量分析为偏差受引导散度 delta_G 约束的 on-policy 估计量，可涵盖 GRPO、LUFFY、ExPO、PAPO、TAPO 等特例。
来源：arXiv cs.LG · arxiv.org