arXiv cs.LG· Yohan Chatelain (Krembil Centre for Neuroinformatics, CAMH, Toronto, Canada), Pablo de Oliveira Castro (Universite Paris-Saclay, UVSQ, LI-PaRAD, Versailles, France)·· 3 小时前AI 评分22
低精度 Transformer 推理该用随机舍入还是就近舍入？基于 GPT-2 的可变精度仿真研究
Stochastic Rounding in Low-Precision Transformer Inference: A Variable-Precision Emulation Study of a Small GPT-2
AI 导读
研究对比了低精度 Transformer 推理中随机舍入（SR）与就近舍入（RN）在不同网络位置的效果差异。作者扩展 PRISM 向量化舍入库实现可变精度随机舍入（VPSR），并在 DistilGPT-2 上以 t=6 有效位验证：MLP 中用 SR 困惑度为全精度参考的 1.15x，RN 为 2.21x；语言模型 head 处顺序反转。
来源：arXiv cs.LG · arxiv.org