arXiv cs.AI· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 9 小时前AI 评分24
AlignQuant：面向高效 LLM 生成的 Tile 对齐混合精度量化
AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation
AI 导读
AlignQuant 是一种训练后量化方法，以 GPU 兼容的二维权重 tile 作为精度分配、紧凑存储与执行的统一单元，让精度在输出通道内跟随敏感度。在 4 个 3B 至 14B 参数的 LLM 上，它相比 BF16 实现最高 2.50 倍生成加速并保持模型质量，评测覆盖 3 种 GPU 和最高 64K token 上下文。实现已开源。
来源：arXiv cs.AI · arxiv.org