arXiv cs.CL· Shu Ishida, Aliasghar Khani, Tianyu Zhang, The Cong Luong, James Seale Smith, Adam Gaier·· 2 小时前AI 评分29
AutoIndexer：通过在编辑链上训练因果模型实现灵活顺序解码
AutoIndexer: Flexible-Order Decoding by Training Causal Models on Chains of Edits
AI 导读
AutoIndexer 提出一种模拟"编辑链"的训练与解码机制，让模型通过 token 插入、替换和删除灵活修改已生成的输出，类似文本编辑器移动光标。训练序列由对真实标签施加逆向链式编辑扰动生成，模型通过学习撤销这些逆操作来掌握编辑能力。该方法具备多数自回归和扩散模型缺乏的生成后上下文编辑能力，且不牺牲标准 LLM benchmark 上的性能，代码已开源。
来源：arXiv cs.CL · arxiv.org