arXiv cs.CL· Zunhai Su, Rui Yang, Chao Zhang, Yaxiu Liu, Yifan Zhang, Wei Wu, Jing Xiong, Dayou Du, Xialie Zhuang, Yulei Qian, Jianchao Tan, Yuchen Xie, Yik-Chung Wu, Hongxia Yang, Ngai Wong·· 5 小时前AI 评分28
OScaR：面向 LLM 及更多模型的极致 KV Cache 量化框架
OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond
AI 导读
研究者提出 KV cache 压缩框架 OScaR（Omni-Scaled Canalized Rotation），通过 Canalized Rotation 与 Omni-Token Scaling 缓解 Token Norm Imbalance（TNI）导致的量化误差，在 INT2 量化下实现近乎无损性能。
来源：arXiv cs.CL · arxiv.org