研究:语言模型无法统一逼近 Solomonoff 归纳
热点事件持续更新
研究:语言模型无法统一逼近 Solomonoff 归纳
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
一项发表于 arXiv cs.AI 的理论研究指出,任何可计算模型都无法在统一意义上逼近 Solomonoff 归纳:每个模型都存在学不会的廉价环境,且任何一致可计算的总预测器族都存在一个环境,使各成员在随索引增长的视界之外失效。 研究用 Kraft 不等式刻画预测器,认为 Solomonoff 预测器与语言模型的差别不在预测成功预算更多,而在于花费位置不同,只有全质量 Bayes 混合才能触及前沿。作者称,该分析基于算法信息论、通用预测与贝叶斯一致性中的已知结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
语言模型能从 Solomonoff 归纳中继承什么?局限、可达性质与条件分布揭示的答案报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.AI语言模型能从 Solomonoff 归纳中继承什么?局限、可达性质与条件分布揭示的答案
一项基于算法信息论与通用预测理论的分析指出,任何可计算模型都无法在统一意义上逼近 Solomonoff 归纳:每个模型都存在学不会的廉价环境,且任何一致可计算的总预测器族都存在一个环境,使各成员在随索引增长的视界之外失效。研究用 Kraft 不等式刻画预测器,认为 Solomonoff 预测器与语言模型的差别不在预测成功预算更多,而在于花费位置不同,只有全质量 Bayes 混合才能触及前沿。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。