arXiv cs.LG· Pranav Venkata Konda·· 6 小时前AI 评分15
深度归一化注意力机制的可辨识性与可观测性研究
The Identifiability and Observability of Deep Normalized Attention
AI 导读
研究证明,对于已知正的非恒定实解析归一化器,深度无掩码单头注意力的输入-输出函数可泛化确定有效分数与组合值映射,直至偶归一化器诱导的符号差异,从而在实解析情形下证明了 Henry--Marchetti--Kohn 猜想(含 softmax)。
来源:arXiv cs.LG · arxiv.org