arXiv cs.LG· Joe Dwyer·· 6 小时前AI 评分22
资源受限下的大语言模型：参数效率与计算最优训练的缩放定律综述
Scaling Down the Scaling Laws: Parameter Efficiency and Compute-Optimal Training in Resource-Constrained Large Language Models
AI 导读
一篇综述梳理了 LLM 缩放理论从经验缩放定律到计算最优训练的演变，重点关注参数效率、token 利用、数据效率与资源受限环境。文章综合了数据剪枝、高效架构、量化、低秩适配与边缘优化等研究，指出领域正从规模最大化转向对参数、token、算力与硬件的审慎分配，并认为未来效率评估不应只看模型性能，还应纳入参数量、计算成本、token 分配与硬件约束的关系。
来源：arXiv cs.LG · arxiv.org