arXiv cs.AI· Xianglong Yan, Zenan Wu, Kewei Zhang, Kaicheng Yang, Yulun Zhang·· 8 小时前AI 评分33
SAGE：将 2-Bit 向量量化 LLM 推向真实可用
SAGE: Pushing 2-Bit Vector-Quantized LLMs toward Real-World Usability
AI 导读
SAGE 是一种面向权重-only 向量量化的新方法，通过能量分层分组（ESG）与自适应比特拆分（ABS）解决敏感通道保护和固定比特预算分配两大难题，在 2-bit 量化下取得 SOTA 表现。在 Qwen3-30B-A3B 上，它保留了 BF16 模型平均基准分数的 95.3%，配合自研 CUDA kernel 实现最高 2.55 倍于 FP16 的非流式端到端加速。代码已开源。
来源：arXiv cs.AI · arxiv.org