arXiv cs.CL· Gil Jae Song, Sungjoo Yoo·· 5 小时前AI 评分23
PN-Mix：面向长输出 LLM 推理的 Pair-Norm 引导混合精度 Key Cache 量化
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
AI 导读
PN-Mix 是一种面向 RoPE 解码器 LLM 的混合精度 key cache 量化方法，通过 query-key pair-norm 乘积识别显著通道对，在 prefill 阶段一次性分配高精度并在整个解码过程复用。
来源：arXiv cs.CL · arxiv.org