arXiv cs.CL· Arjun Boya, Charan Sai Bandaru, Masthanaiah Pillimetla, Kavana Chidanandappa·· 5 小时前AI 评分22
从内在维度选择注意力头数：一项小规模研究
Choosing the Number of Attention Heads from Intrinsic Dimension: A Small-Scale Study
AI 导读
一项小规模研究提出用无标签估计 token 表示的内在维度来预先设定 Transformer 注意力头数：在 WikiText-2 的 DistilBERT 嵌入上训练嵌套 dropout VAE，得到 k*=9.2（95% CI [8.6, 9.8]）。
来源：arXiv cs.CL · arxiv.org