跳到正文
arXiv cs.AI· Helong Hu (Zhanjiang Campus, Guangdong Ocean University, Zhanjiang, Guangdong, China), Hongdan Pan (Maoming Administrative Service Center, Maoming, Guangdong, China), Shuiqing Hu (China Pacific Insurance)·· 8 小时前AI 评分22

FON:一种无需序列级二次注意力的起草-修订双器官语言模型

FON: A Draft-Revise Dual-Organ Language Model without Sequence-Level Quadratic Attention

AI 导读

研究者提出 FON(Fusion-Organ Network),将单一权重堆栈分化为起草器官(多抽头可学习延迟 + 内容自适应递归,训练复杂度 O(S)、解码状态 O(1))和只重写不生成的修订器官。

来源:arXiv cs.AI · arxiv.org