arXiv cs.AI· Hazem Hesham Yousef Shalby, Fabrizio Pittorino, Manuel Roveri·· 8 小时前AI 评分27
全整数训练深度神经网络:所有张量以 INT8 存储,训练内存降至 FP32 的约 1/4
Memory-Efficient Integer-Only Training of Deep Neural Networks
AI 导读
研究者提出一种全整数训练算法,权重、梯度、激活全部以 INT8 存储,前向、反向、权重更新与优化器更新均用整数运算完成,训练内存约为 FP32 基线的 1/4。
来源:arXiv cs.AI · arxiv.org