语言模型能从 Solomonoff 归纳中继承什么？局限、可达性质与条件分布揭示的答案

一项基于算法信息论与通用预测理论的分析指出，任何可计算模型都无法在统一意义上逼近 Solomonoff 归纳：每个模型都存在学不会的廉价环境，且任何一致可计算的总预测器族都存在一个环境，使各成员在随索引增长的视界之外失效。研究用 Kraft 不等式刻画预测器，认为 Solomonoff 预测器与语言模型的差别不在预测成功预算更多，而在于花费位置不同，只有全质量 Bayes 混合才能触及前沿。