跳到正文
arXiv cs.CL· Roy Eisenstadt, Harel Lidar, Tal Gonen, Omer Luxembourg, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman·· 2 小时前AI 评分27

DCOCO:为推测解码的并行草稿补上上下文修正

Contextual Correction of Parallel Draftsfor Speculative Decoding

AI 导读

DCOCO(DFlash Contextual Corrector)是一种轻量机制,在保留并行草稿的同时恢复草稿块内被丢失的 token 依赖:它不直接采用每个位置的最高预测,而是保留多个候选 token 并并行评估相邻草稿位置的上下文兼容性。

来源:arXiv cs.CL · arxiv.org