arXiv · AI· Indraneil Paul, Falko Helm, Goran Glava\v{s}, Iryna Gurevych·· 2026-10-14AI 评分55
OctoLong:跨仓库代码上下文中期训练增强长上下文建模
OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling
AI 导读
研究者提出 OctoLong 管线,通过 AST 解析器和包管理器递归检索代码依赖,构建数百万 token 级别的代码上下文语料。基于该语料对 600M 至 14B 参数模型进行中期训练,仅需替代 12% 的常规长上下文扩展数据,即可在长程检索、长期状态跟踪及仓库级代码理解任务上取得显著提升。
来源:arXiv · AI · arxiv.org