arXiv stat.ML· Marius P Linhard, Maurizio Filippone·· 4 小时前AI 评分22
通过深度权重因子化实现部分随机性：稀疏化随机性而非容量
Sparsifying Stochasticity, Not Capacity: Partial Stochasticity via Deep Weight Factorization of Prior Scales
AI 导读
研究者提出对贝叶斯神经网络先验尺度做深度权重因子化，学习哪些参数应保持随机、哪些应确定化，先验尺度低于阈值的参数转为确定性并在推理时优化，从而稀疏化随机性而非容量。该方法在双峰目标上对阈值不敏感，随机掩码方案最多差两个数量级；在 UCI 基准上性能与全随机网络相当，约一半参数保持确定性。
来源：arXiv stat.ML · arxiv.org