跳到正文
arXiv cs.AI· Shihua Yu, Yanzhi Wang, Tianchi Chen·· 8 小时前AI 评分17

递归专家计算的粗粒化:延续相对接口与失效模式

Coarse-Graining Recursive Expert Computation: Continuation-Relative Interfaces and Failure Modes

AI 导读

研究提出延续相对评估框架,用下游任务质量与总执行成本联合判断能否用更便宜的模块替换一段计算。在 1.7B 参数模型上,用 next-token-loss 训练比重建被跳过模块输出降低分布内负对数似然 0.1901 nats/token,但该排序在全部九组分布偏移对比中反转。递归专家原型中联合适配候选优于冻结库与仅路由基线,却仍落后于直接训练的控制组,仅输入选择器未通过质量-成本联合标准。

来源:arXiv cs.AI · arxiv.org