从"算子"到"AI Infra"：大模型背后看不见的那群人在忙什么

大模型运行依赖算子与 AI Infra 两层支撑：算子是最基本的计算步骤，如 MatMul、ReLU、Softmax，同一算子优化前后速度可差几十倍，FlashAttention 通过重排计算顺序让注意力计算快了好几倍。AI Infra 则覆盖从芯片到上线服务的整套系统，解决跑得起、跑得快、跑得省的问题，常用指标 MFU 能做到一半左右已算不错。