arXiv cs.LG· Mehryar Mohri·· 7 小时前AI 评分29
Rational Transductors:用加权有限自动机增强 Transformer 的推理架构
Rational Transductors
AI 导读
研究者提出 Rational Transductors,一种双流架构,通过 Weighted Finite Automata(WFA)衍生的矩阵值递归增强 Transformer,并借助 Deep Rational Injection 将有理状态信息注入注意力机制。
来源:arXiv cs.LG · arxiv.org