arXiv cs.CL· Ryan Solgi, Parsa Madinei, Jiayi Tian, Rupak Swaminathan, Jing Liu, Nathan Susanj, Zheng Zhang·· 4 小时前AI 评分22
PGSVD：面向高效 LLM/VLM 的激活感知帕累托引导低秩压缩
Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
AI 导读
研究者提出低秩压缩框架 PGSVD（Pareto-Guided SVD），通过逐层激活压缩误差上界网络损失变化，并将低秩压缩建模为双目标优化，证明单一统一容差可产生代理帕累托最优的异构秩。该零样本流程结合帕累托引导秩选择与交替最小二乘实现，在 LLM 和 VLM 上同等压缩率下取得更高精度并实现推理加速。
来源：arXiv cs.CL · arxiv.org