arXiv cs.LG· Haohui Wang, Jiahao Xu, Wangzhi Zhan, Tong Zeng, Dongqi Fu, Hong Li, Swastik Roy, Naren Ramakrishnan, Chris North, Jian Kang, Yujun Yan, Dawei Zhou·· 3 小时前AI 评分23
PASS：面向长尾分布下监督微调的自适应指令选择方法
Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution
AI 导读
研究提出"先验壁垒"概念，量化预训练模型对目标概念的支撑强度，发现先验壁垒呈长尾分布，头部概念壁垒低、尾部概念壁垒高。为此提出自适应 SFT 指令选择方法 PASS，通过构建参考衍生概念并估计每条指令的区分性证据，将选择预算自适应分配给覆盖不足的概念。实验显示 PASS 在四种骨干-预算设置下持续优于七种 SOTA 指令选择方法，消融研究进一步表明其自适应分配优于均匀分配。
来源：arXiv cs.LG · arxiv.org