arXiv cs.LG· Jichao Jiang, Cristian McGee, El Houcine Bergou, HanQin Cai, Aritra Dutta·· 6 小时前AI 评分27
TACO：面向 LLM 微调的三值绝对最大值列稀疏优化器
TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning
AI 导读
研究者提出 TACO 优化器，通过按列选取二维权重矩阵中绝对值最大元素的符号，在维度归一化的 1→1 算子范数下计算精确最速下降方向，保留一阶梯度同时让优化器状态内存近乎可忽略。
来源：arXiv cs.LG · arxiv.org