跳到正文
arXiv · NLP· Thomas Gebhart, Russell J. Funk·· 2026-10-09AI 评分32

SciTBERT:用于科学和技术语言处理的时序一致语言模型系列

SciTBERT: A family of chronologically consistent language models for scientific and technological language processing

AI 导读

研究团队提出SciTBERT,这是一系列基于BERT、按2013至2025年逐年截止数据训练的时序一致模型。 该系列涵盖科学论文、专利及教育文本,并引入SciTBERT-CI变体及PatRepEval评测基准。 实验表明,在早期数据限制下,SciTBERT仍能超越先前的领域专用编码器模型。

来源:arXiv · NLP · arxiv.org