arXiv cs.CL· Kavinda Kehelella, Sanghamitra Dutta·2026-10-12 12:00· 2 小时前AI 评分22

COFFEQA：面向 LLM 问答的反事实引导少样本蒸馏

COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering

AI 导读

针对少样本蒸馏效果高度依赖训练样本选择、靠近教师决策边界的高不确定性样本会显著拉低蒸馏性能的问题，研究者提出 COFFEQA，用反事实上下文为困难事实样本提供额外监督，并引入 Context Following Difficulty（CFD）指标在蒸馏前验证反事实。

来源：arXiv cs.CL · arxiv.org