arXiv · AI· Xiaoxi Luo, Zachary Shinnick, Niclas Griesshaber, Yixuan Wang, Junchi Yu, Freda Shi, Philip Torr, Yao Lu·· 2026-10-05AI 评分23
历史文本预训练语言模型:TypewriterLM 7.2B 与 History-Event 基准
A Language Model from 1913: Pretraining on Historical Text
AI 导读
研究人员通过预训练历史文本,开发了具备 1913 年知识截止点的语言模型 TypewriterLM。该模型参数量为 7.24B,基于 54B token 的历史语料库 TypewriterCorpus 构建,并采用词汇受限制的指令微调技术。同时,研究团队发布了包含 2,344 个事件的 History-Event 基准,用于评估模型的语言理解能力及时间截止点遵循度,所有资源均已开源。
来源:arXiv · AI · arxiv.org