arXiv cs.CL· Borja Aizpurua, Sukhbinder Singh, Rom\'an Or\'us·2026-10-12 12:00· 2 小时前AI 评分29

权重聚类揭示大语言模型中相对秩的重要性

Weight Clustering Reveals the Importance of Relative Rank in Large Language Models

AI 导读

研究者对预训练 LLM 的权重矩阵做标量 K-means 聚类，每个矩阵仅保留 16–64 个共享值，在 Llama 3.1-8B-Instruct 和 SmolLM2-135M 上无需重训练即可保持较强准确率，仅微调聚类质心还能挽回 30–40% 的剩余精度损失。

来源：arXiv cs.CL · arxiv.org