研究者提出WASD大模型知识蒸馏方法

研究者提出一种名为 WASD 的大语言模型知识蒸馏方法，用基于 Wasserstein 距离的度量引入 token 级语义信息，其代价矩阵由 token 嵌入构建，并采用 Sinkhorn 散度推导出梯度等价目标以降低计算开销。 据该研究称，在多个 LLM 系列和规模上的实验显示，WASD 在指令跟随、数学推理和代码生成等任务上持续提升蒸馏性能。该工作已被 NeurIPS 2026 接收，实现已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。