研究者提出COFFEQA少样本蒸馏方法

研究者 Kavinda Kehelella 与 Sanghamitra Dutta 提出一种名为 COFFEQA 的反事实引导少样本蒸馏方法，用于开放书问答场景下的 LLM 蒸馏。 该方法针对的问题是：少样本蒸馏效果高度依赖训练样本选择，靠近教师决策边界的高不确定性样本会显著拉低蒸馏性能。COFFEQA 的做法是用反事实上下文为困难事实样本提供额外监督，并引入 Context Following Difficulty（CFD）指标，在蒸馏前验证反事实。 上述内容来自研究者自述，尚未见其报告实际蒸馏性能提升的对比结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。