arXiv cs.CL· Leif Sieben, Yoel Zimmermann·· 5 小时前AI 评分24
预训练真能让化学语言模型学会化学吗？研究揭示性能不及梯度提升基线
Does Pretraining Teach Chemical Language Models Chemistry?
AI 导读
一项研究用 64 个分子性质预测数据集系统检验化学语言模型（CLM）的预训练效果，发现下游性能并不随预训练规模扩展，且饱和在梯度提升基线之下。只有基于传统理化描述符的监督预训练能稳定提升性能，部分预训练方式甚至使模型不如随机初始化编码器。模型虽能解析分子结构，但表现与随机初始化模型相当，说明预训练至多学到类描述符性质与低层 token 统计，超出经典分子特征的化学知识有限。
来源：arXiv cs.CL · arxiv.org