热点事件持续更新

权重聚类压缩大模型：每矩阵仅存16–64个值

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Borja Aizpurua 等作者发表论文称，对预训练大语言模型的权重矩阵做标量 K-means 聚类，每个矩阵只保留 16–64 个共享值，在 Llama 3.1-8B-Instruct 和 SmolLM2-135M 上无需重训练即可保持较强准确率。论文还称，仅微调聚类质心可挽回 30–40% 的剩余精度损失。该结果来自作者自己的实验，尚未经独立验证。

AI 根据报道生成 · 49 分钟前更新

最新进展10月12日 12:00

权重聚类揭示大语言模型中相对秩的重要性

报道时间线

沿着报道，了解事件的不同侧面。

10月12日

12:00
arXiv cs.CL
权重聚类揭示大语言模型中相对秩的重要性
研究者对预训练 LLM 的权重矩阵做标量 K-means 聚类，每个矩阵仅保留 16–64 个共享值，在 Llama 3.1-8B-Instruct 和 SmolLM2-135M 上无需重训练即可保持较强准确率，仅微调聚类质心还能挽回 30–40% 的剩余精度损失。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。