arXiv cs.CL· Xiaohan Qin, Xiangdong Zhang, Tuo Dai, Sunan Zou, Huaijin Wu, Yebin Yang, Zhuo Xia, Lin Yao, Yuliang Liu, Junchi Yan·· 2 小时前AI 评分24
Multi-Stream Attention Residuals：多流深度注意力残差架构
Multi-Stream Attention Residuals
AI 导读
研究者提出 Multi-Stream Attention Residuals（MSAR），将 AttnRes 的单流深度注意力扩展为多头深度注意力，通过多尺度因果卷积从序列上下文获取流多样性，并用轻量自适应混合生成单流层输入。
来源：arXiv cs.CL · arxiv.org