跳到正文
arXiv · NLP· Bryan Kelly, Semyon Malamud, Johannes Schwab, Teng Andrea Xu·· 2026-10-14AI 评分26

通过扩展规模提升点时语言模型性能

Scaling Point-in-Time Language Models: Enabling Economic Evaluation of Embeddings

AI 导读

研究团队训练了最高4B参数、基于1万亿过滤token的点时语言模型。 在常识推理等基准测试中,该模型性能接近同规模的Gemma-3-4B和LLaMA-7B,缩小了与无限制模型的差距。 完整的训练、数据构建和评测代码已公开,支持可复现的点时建模研究。

来源:arXiv · NLP · arxiv.org