arXiv cs.LG· Arijit Sehanobish, Byeongchan Kim, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski·· 7 小时前AI 评分22
RaLiMPs:用低阶有理逼近高效线性化 MLP
Rationally Linearized MLPs
AI 导读
研究者提出 RaLiMPs(Rationally Linearized MLPs),用标准激活函数的低阶有理逼近来高效线性化 MLP,相比多项式方法能在更低阶数下实现准确表示。该方法借此构建带窄瓶颈的核表示,支持跨 MLP 层的高效组合,并为逼近结果提供理论保证。在隐式 3D 模型到大语言模型等任务上,RaLiMPs 在保持或提升精度的同时大幅降低推理成本。
来源:arXiv cs.LG · arxiv.org