OrionMoE-Small表格基础模型论文发布

Mohamed Bouadi等作者发布论文，提出紧凑型表格基础模型 OrionMoE-Small。该模型将分布感知表示与数据集条件化的稀疏混合专家计算结合，采用双轴 Transformer 架构沿特征轴选择性激活专家。 据论文，模型完全在结构化因果先验生成的合成分类任务上预训练，无需基于梯度的适配即可完成下游预测，在多个表格基准上以更小规模比肩显著更大的基础模型，在小上下文和高维数据集上表现尤为突出。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。