arXiv cs.AI· Mengtao Zhou, Jianxiao Wang, Xiupeng Chen, Cailiang Liu, Jie Song·· 8 小时前AI 评分26
FAR:以学习者为中心的多智能体讨论蒸馏方法
Overtaught, Underlearned: Learner-Centered Distillation from Multi-Agent Discussion
AI 导读
针对多智能体讨论蒸馏中"过度教学"与"学习不足"的错配问题,研究者提出学习者中心的蒸馏方法 FAR(Fold–Attempt–Revisit),在训练前将每个讨论状态内的多个正确解折叠为代表性课程,训练后依据学生自身作答定位遗漏问题并针对性补充课程。在两个学生模型和四个推理任务上,FAR 以远少于全图蒸馏的训练目标取得更优表现,并降低学习不足率。
来源:arXiv cs.AI · arxiv.org