arXiv · NLP· Junlong Jia, Jiang Zhou, Xing Wu, Chaochen Gao Tinghao Yu, Feng Zhang, Lilin Wang·· 2 小时前AI 评分24
上下文扩展数据选择控制研究：Qwen 模型上 truncLongPPL 的性能增益
Which Long Documents Matter? A Controlled Study of Data Selection for Context Extension
AI 导读
在 Qwen2.5-3B 128K 上下文的受控对比中，truncLongPPL 数据选择策略表现最优。 它通过计算截断前缀的关键 token 密度，实现了 2.28 倍的端到端评分加速。 在 RULER 基准上，该方法比随机长文档采样平均高出 3.28 分，且短上下文性能基本无损。
来源：arXiv · NLP · arxiv.org