arXiv cs.LG· Tianqi Chen, Zhe Li, Weixiang Xu, Zeyu Zhu, Dong Li, Lu Tian, Emad Barsoum, Peisong Wang, Jian Cheng·· 7 小时前AI 评分24
TernaryLLM：三值化大语言模型
TernaryLLM: Ternarized Large Language Model
AI 导读
研究提出 TernaryLLM，通过可学习缩放与偏移的 Dual Learnable Ternarization（DLT）和抗离群值的特征知识蒸馏（OFF），实现大语言模型三值化。在 LLaMA-3 上，该方法（W1.58A16）在 C4 上的困惑度比此前最优方法（W2A16）低 5.8，零样本任务平均准确率高 8.2%。
来源：arXiv cs.LG · arxiv.org