arXiv cs.CL· Thomas Vaitses Fontanari, Maximo Eduardo Rulli, Federico Alvetreti, Donatella Genovese, Simone Scardapane·· 4 小时前AI 评分24
LRCC：用条件计算泛化低秩压缩，Llama-2-7B 下游平均准确率提升 7.6 个百分点
LRCC: Generalizing Low-Rank Compression with Conditional Computation
AI 导读
研究者提出 Low-Rank Conditional Computation（LRCC），在每个 Transformer block 训练一个轻量 router，在冻结的低秩因子中为每个 token 选择嵌套低秩路径，训练时只优化 router。
来源：arXiv cs.CL · arxiv.org