跳到正文
热点事件持续更新

Flux-OPD:用演化上下文做在策略蒸馏

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

研究者 Yuran Wang 等人提出一种名为 Flux-OPD 的在策略蒸馏(OPD)范式,用随学生模型进化而调整的演化上下文作为训练中的监督信号。其针对的问题是:开放领域缺乏可验证奖励,固定上下文无法随学生模型进化而调整。 方法上,Flux-OPD 通过 reverse-KL 分解刻画上下文蒸馏,把上下文条件教师与无上下文教师的差异作为上下文修正信号注入无上下文教师,并用冲突项加权修正强度。研究者称,实验显示 Flux-OPD 在各类 OPD 范式中取得最佳结果。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    Flux-OPD:用演化上下文做在策略蒸馏

    针对开放领域缺乏可验证奖励、固定上下文无法随学生模型进化而调整的问题,研究者提出 Flux-OPD,一种以演化上下文作为训练中监督的 OPD 范式。该方法通过 reverse-KL 分解刻画上下文蒸馏,将上下文条件教师与无上下文教师的差异作为上下文修正信号注入无上下文教师,并用冲突项加权修正强度。实验显示 Flux-OPD 在各类 OPD 范式中取得最佳结果。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。