arXiv cs.LG· Guanhua Ding, Zi Wang, Ruichao Li, Jack Liu·· 6 小时前AI 评分22
CurveTQ:无需旋转的 LLM 权重 Trellis 量化,通过曲率加权搜索实现
CurveTQ: Rotation-Free Trellis Quantization of LLM Weights via Curvature-Weighted Search
AI 导读
CurveTQ 提出一种无需随机正交旋转的 LLM 权重 Trellis 量化方法,将 Hessian 的 LDL 分解对角权重注入 Viterbi 分支度量,使搜索在编码块内跟随曲率。
来源:arXiv cs.LG · arxiv.org