大模型背后的算子与AI Infra

大模型的运行依赖算子与 AI Infra 两层支撑。算子是最基本的计算步骤，如 MatMul、ReLU、Softmax，同一算子优化前后速度可差几十倍；FlashAttention 通过重排计算顺序，让注意力计算快了好几倍。 AI Infra 覆盖从芯片到上线服务的整套系统，解决跑得起、跑得快、跑得省的问题，常用指标 MFU 能做到一半左右已算不错。

AI 根据报道生成 · 6 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。