跳到正文
arXiv cs.AI· Luyang Zhang, Jialu Wang, Bebei Li·· 8 小时前AI 评分17

Pick the Mixture, Not the Samples:面向 LLM 的组合式数据选择

Pick the Mixture, Not the Samples: Combinatorial Data Selection for LLMs

AI 导读

针对 LLM 微调数据选择中样本跨域互补与域内冗余并存的现象,研究者将其形式化为组合式数据选择(CDS)框架,并提出两阶段算法 Mixture-then-Select:先决定各域采样数量,再按归因分数在域内排序。该算法在真实指令微调数据池上比强基线高出 20% 至 54%,且对归因方法、模型和数据池规模均保持稳健,并可扩展至预算约束下的数据采购问题。

来源:arXiv cs.AI · arxiv.org