提出SciTBERT时间一致语言模型家族

SciTBERT 是一系列基于 BERT 的时间一致性语言模型，训练数据来自科学论文、专利和高质量教育网页文本，数据截止日期覆盖 2013 至 2025 年各年份。研究团队还用论文与专利引用以时间一致方式后训练出 SciTBERT-CI 系列，并推出面向科技交界面的专利文本嵌入基准 PatRepEval。这些模型在训练数据受早期年份限制时仍普遍优于此前的领域专用编码器。

摘自 arXiv cs.LG

还没有足够的连续观测数据，暂不绘制趋势。