零计算专家混合模型获高率量化理论分析

Yehuda Dar 发表论文，用经典高码率量化理论分析回归任务中的混合专家（MoE）模型，其中每个专家是单参数、推理时零计算的常数预测器。 在专家数量足够多、输入空间划分极小的假设下，作者推导了一维输入的测试误差及最优划分，并给出多维输入的测试误差上界；同时分析给定输入划分时专家参数的统计学习性质，从理论和实验上说明近似误差与估计误差的权衡如何取决于专家数量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。