跳到正文
热点事件持续更新

CurveTQ:无旋转的LLM权重网格量化方法

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Guanhua Ding等作者提出 CurveTQ,一种无需随机正交旋转的大语言模型权重 Trellis(网格)量化方法。该方法将 Hessian 的 LDL 分解对角权重注入 Viterbi 分支度量,使搜索在编码块内跟随曲率。 CurveTQ 用因子化尺度场和闭式分位数表处理权重的幅度与边缘分布形状,并为每个编码块存储起始状态,使网格能适应误差反馈带入的残差。相关论文发布于 arXiv cs.LG。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv cs.LG
    CurveTQ:无需旋转的 LLM 权重 Trellis 量化,通过曲率加权搜索实现

    CurveTQ 提出一种无需随机正交旋转的 LLM 权重 Trellis 量化方法,将 Hessian 的 LDL 分解对角权重注入 Viterbi 分支度量,使搜索在编码块内跟随曲率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。