arXiv cs.LG· Thomas Gebhart, Russell J. Funk·· 3 小时前AI 评分24
SciTBERT：面向科技语言处理的时间一致性语言模型系列
SciTBERT: A family of chronologically consistent language models for scientific and technological language processing
AI 导读
SciTBERT 是一系列基于 BERT 的时间一致性语言模型，训练数据来自科学论文、专利和高质量教育网页文本，数据截止日期覆盖 2013 至 2025 年各年份。研究团队还用论文与专利引用以时间一致方式后训练出 SciTBERT-CI 系列，并推出面向科技交界面的专利文本嵌入基准 PatRepEval。这些模型在训练数据受早期年份限制时仍普遍优于此前的领域专用编码器。
来源：arXiv cs.LG · arxiv.org