arXiv stat.ML· Naoki Nishikawa, Taiji Suzuki·· 10 小时前AI 评分22
Transformer 强化学习分层推理奖励：达到 Minimax 最优速率
Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers
AI 导读
研究将推理任务的奖励建模为响应空间上的分层函数，由无穷多个局部组件构成，每个组件仅在前序组件解决后才生效。基于 Transformer 的 actor-critic 算法在采样、拟合 critic 与策略更新间交替，在查询预算和正则化强度上达到 minimax 最优速率，对固定提示词数量也最优。
来源：arXiv stat.ML · arxiv.org