arXiv cs.LG· Du Cheng, Junyu Lu, Jingfan Zhang, Yuzhuo Zhang, Haoxuan Jia, Shichao Weng·· 7 小时前AI 评分22
CBPO：用共享回归目标统一离线示范与在线/离策略 rollout 的学习
Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target
AI 导读
研究者提出 Cross-Behavior Policy Optimization（CBPO），通过固定参考目标让离线示范、参考回答与当前及历史 rollout 共用同一回归损失和回放缓冲区，无需存储行为策略概率、重要性加权或学习 critic。
来源：arXiv cs.LG · arxiv.org