多零计算专家混合模型：高码率量化理论视角

该研究用经典高码率量化理论分析回归任务中的 MoE 模型，其专家为单参数、推理时零计算的常数预测器。作者在专家数量足够多、输入空间划分极小的假设下，推导了一维输入的测试误差及最优划分，并给出多维输入的测试误差上界。研究还分析了给定输入划分时专家参数的统计学习性质，从理论和实验上揭示了近似误差与估计误差的权衡如何取决于专家数量。