WASD：基于 Wasserstein 距离的大语言模型知识蒸馏方法

研究者提出 WASD，一种基于 Wasserstein 距离的大语言模型知识蒸馏方法，通过由 token 嵌入构建的代价矩阵引入 token 级语义信息，并采用 Sinkhorn 散度推导出梯度等价目标以降低计算开销。在多个 LLM 系列和规模上的实验显示，WASD 在指令跟随、数学推理和代码生成等任务上持续提升蒸馏性能。该工作已被 NeurIPS 2026 接收，实现已公开。