arXiv cs.CL· Zile Yang, Ling Li, Na Di, Jinlong Pang, Yao Zhou, Hao Cheng, Bo Han, Jiaheng Wei·· 5 小时前AI 评分24
用规则引导 LLM 重构低质量指令数据，提升 SFT 效果
Reclaiming Low-Quality Instruction Data with Rule-Guided LLM Reconstruction
AI 导读
研究者提出规则引导的 LLM 重构框架，从 123,786 条低分样本中构建出 54,888 条训练样本。在三个 7B/8B 基础模型上，重构数据的平均下游表现优于低分源数据及所有评估过的数据选择基线，且样本量远少于约 300K 的全量数据集却取得更高平均分。消融实验显示规则引导重构是相对直接融合的最大提升来源，人工审查也指出源整合与答案忠实度仍存局限。
来源：arXiv cs.CL · arxiv.org