跳到正文
arXiv stat.ML· Junjie Xiao, Huiwen Jia·· 5 小时前AI 评分14

考虑集电路(Consideration Circuits):超越单一 Softmax 的深度分离与普适性

Consideration Circuits: Depth Separation and Universality Beyond a Single Softmax

AI 导读

研究者提出考虑集电路(CC),一种由多项 logit(MNL)单元构成的有向无环图定义的多阶段选择模型。在三选项折中任务上,CC 展现出显著的深度-范数分离:深度从 2 增至 3,达到误差 ε 所需的最优最大偏好向量范数从 Θ(log(1/ε)/ε) 降至 Θ(log(1/ε))。实验中,参数少于 600 的树状电路在四个固定池基准和 Expedia 时间划分上取得最低平均测试 NLL。

来源:arXiv stat.ML · arxiv.org