语言模型中的柏拉图表示理论：多语言模型跨语言相似性为何在中层达到峰值

一项理论研究为多语言语言模型中层跨语言表示相似性现象提供了理论解释。研究者用共享上层但下层产生式规则不同的概率上下文无关文法生成合成语言，证明贝叶斯最优下一 token 预测器即信念传播（BP），将其消息编码进连续层所得解析预测与在同数据上训练的 Transformer 高度吻合。