跳到正文
arXiv cs.LG· An T. Le·· 7 小时前AI 评分22

PolyStep:用最优传输训练不可微网络

Training Non-Differentiable Networks via Optimal Transport

AI 导读

研究者提出前向优化器 PolyStep,通过旋转多面体探针并沿探针方向的加权平均移动参数块,权重来自单侧熵最优传输,从而训练含硬阈值、量化和离散路由等不可微操作的网络。在 MNIST 硬阈值脉冲神经元任务上,PolyStep 达到 93.0 ± 0.2%,优于最佳梯度无关基线的 79.6 ± 5.2%。该方法的查询成本与每步搜索维度成正比,限制了固定预算下的更新次数。

来源:arXiv cs.LG · arxiv.org