跳到正文
arXiv cs.CL· Chia-Ming Lee, Shao-Kai Liu, Ming-Ching Chang, Xin Li, Yu-Lun Liu, Chih-Chung Hsu·· 5 小时前AI 评分26

C⁴:在扩散语言模型中协调自适应采样与提前退出

Commit Locally, Exit Globally: Coordinating Adaptive Sampling and Early Exit in Diffusion Language Models

AI 导读

研究者提出免训练框架 C⁴,将局部解码加速与自适应全局提前退出结合,在 LLaDA 上校准一次后即可迁移到全部 12 个零样本任务及 Dream。该框架将解码步数减少 64-95%,实测解码循环加速 2.6x-18.6x,任务性能接近完整解码。其中提前退出在短答案任务上贡献主要节省,局部加速在推理与代码生成上贡献更多。

来源:arXiv cs.CL · arxiv.org