arXiv cs.LG· Ryan Swift, Konstantinos Psounis·· 3 小时前AI 评分24
KDFP：面向大语言模型知识蒸馏的第一性原理方法
KDFP: A first-principles approach to knowledge distillation in large language models
AI 导读
KDFP 是一种面向大语言模型的白盒通用知识蒸馏方法，在 9 个基准上比现有方法高出 1.6%–4.9%，并通过临时参数削减将训练效率最高提升 99.1%。该方法从第一性原理出发，针对此前研究多集中于指令跟随、链式推理和工具使用等后训练能力、通用知识蒸馏存在空白的问题，适用于边缘设备上的高效私有部署。
来源：arXiv cs.LG · arxiv.org