arXiv cs.AI· Helong Hu (Zhanjiang Campus, Guangdong Ocean University, Zhanjiang, Guangdong, China), Hongdan Pan (Maoming Administrative Service Center, Maoming, Guangdong, China), Shuiqing Hu (China Pacific Insurance)·· 8 小时前AI 评分22
FON:一种无需序列级二次注意力的起草-修订双器官语言模型
FON: A Draft-Revise Dual-Organ Language Model without Sequence-Level Quadratic Attention
AI 导读
研究者提出 FON(Fusion-Organ Network),将单一权重堆栈分化为起草器官(多抽头可学习延迟 + 内容自适应递归,训练复杂度 O(S)、解码状态 O(1))和只重写不生成的修订器官。
来源:arXiv cs.AI · arxiv.org