arXiv cs.LG· Mohamed Bouadi, Nassim Bouarour, Aditya Tanna, Vinay Kumar Sankarapu·· 7 小时前AI 评分22
OrionMoE-v1.0：面向表格上下文学习的混合专家基础模型
OrionMoE-v1.0: A Mixture-of-Experts Foundation Model for Tabular In-Context Learning
AI 导读
OrionMoE-Small 是一个紧凑型表格基础模型，将分布感知表示与数据集条件化的稀疏混合专家计算结合，基于双轴 Transformer 架构沿特征轴选择性激活专家。该模型完全在结构化因果先验生成的合成分类任务上预训练，无需基于梯度的适配即可完成下游预测，在多个表格基准上以更小规模比肩显著更大的基础模型，在小上下文和高维数据集上表现尤为突出。
来源：arXiv cs.LG · arxiv.org