CurveTQ:无旋转的LLM权重网格量化方法
热点事件持续更新
CurveTQ:无旋转的LLM权重网格量化方法
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Guanhua Ding等作者提出 CurveTQ,一种无需随机正交旋转的大语言模型权重 Trellis(网格)量化方法。该方法将 Hessian 的 LDL 分解对角权重注入 Viterbi 分支度量,使搜索在编码块内跟随曲率。 CurveTQ 用因子化尺度场和闭式分位数表处理权重的幅度与边缘分布形状,并为每个编码块存储起始状态,使网格能适应误差反馈带入的残差。相关论文发布于 arXiv cs.LG。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
CurveTQ:无需旋转的 LLM 权重 Trellis 量化,通过曲率加权搜索实现报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv cs.LGCurveTQ:无需旋转的 LLM 权重 Trellis 量化,通过曲率加权搜索实现
CurveTQ 提出一种无需随机正交旋转的 LLM 权重 Trellis 量化方法,将 Hessian 的 LDL 分解对角权重注入 Viterbi 分支度量,使搜索在编码块内跟随曲率。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。