研究：化学语言模型预训练效果有限

一项由 Leif Sieben、Yoel Zimmermann 发表的研究，用 64 个分子性质预测数据集系统检验化学语言模型（CLM）的预训练效果，结论是预训练并未带来预期的化学能力：下游性能不随预训练规模扩展，且饱和在梯度提升基线之下。 研究称，只有基于传统理化描述符的监督预训练能稳定提升性能，部分预训练方式甚至使模型不如随机初始化编码器；模型虽能解析分子结构，但表现与随机初始化模型相当，说明预训练至多学到类描述符性质与低层 token 统计，超出经典分子特征的化学知识有限。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。