研究者提出免训练LLM压缩方法AWT

研究者 Alessandro Beatini 等人提出一种名为 Activation-aware Weight Tensorization（AWT）的免训练校准方法，用于大语言模型的张量网络压缩。该方法在保持原有 TT/TTN 分解求解器不变的前提下，先用由激活导出的对角缩放对每个权重矩阵做预条件，部署时只需在输入侧做逐元素重缩放。 据作者描述，AWT 是一种“免训练校准包装”，即不重新训练模型，只借助校准数据调整权重矩阵的缩放，再交给原有张量分解求解器处理。目前公开信息仅为其在 arXiv 上提出的方法本身，未给出压缩率、精度损失或与其他方法对比等效果数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。