arXiv cs.LG· Alessandro Beatini, Marco Maronese, Emanuele Rodol\`a·· 6 小时前AI 评分17
AWT：面向张量网络 LLM 压缩的激活感知权重张量化预条件器
Activation-Aware Weight Tensorization: A Calibration-Time Preconditioner for Tensor-Network LLM Compression
AI 导读
研究者提出 Activation-aware Weight Tensorization（AWT），一种免训练的校准包装方法，在 TT/TTN 分解求解器前用激活导出的对角缩放对权重矩阵做预条件，部署时仅需输入侧逐元素重缩放。
来源：arXiv cs.LG · arxiv.org