跳到正文
arXiv cs.AI· Mengtao Zhou, Jianxiao Wang, Xiupeng Chen, Cailiang Liu, Jie Song·· 8 小时前AI 评分26

FAR:以学习者为中心的多智能体讨论蒸馏方法

Overtaught, Underlearned: Learner-Centered Distillation from Multi-Agent Discussion

AI 导读

针对多智能体讨论蒸馏中"过度教学"与"学习不足"的错配问题,研究者提出学习者中心的蒸馏方法 FAR(Fold–Attempt–Revisit),在训练前将每个讨论状态内的多个正确解折叠为代表性课程,训练后依据学生自身作答定位遗漏问题并针对性补充课程。在两个学生模型和四个推理任务上,FAR 以远少于全图蒸馏的训练目标取得更优表现,并降低学习不足率。

来源:arXiv cs.AI · arxiv.org