arXiv cs.CL· Roy Eisenstadt, Harel Lidar, Tal Gonen, Omer Luxembourg, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman·· 2 小时前AI 评分27
DCOCO:为推测解码的并行草稿补上上下文修正
Contextual Correction of Parallel Draftsfor Speculative Decoding
AI 导读
DCOCO(DFlash Contextual Corrector)是一种轻量机制,在保留并行草稿的同时恢复草稿块内被丢失的 token 依赖:它不直接采用每个位置的最高预测,而是保留多个候选 token 并并行评估相邻草稿位置的上下文兼容性。
来源:arXiv cs.CL · arxiv.org