arXiv · NLP· Ian Magnusson, Noah A. Smith, Pang Wei Koh·· 2026-10-15AI 评分24
COUNT:通过统计 N-grams 解锁主机内存扩展与免训练适应
The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation
AI 导读
研究者提出 COUNT 方法,通过存储预计算的 n-gram 计数实现 LM 在主机内存上的扩展,无需额外学习参数。 在固定计算预算下,为 1B 参数 LM 添加 COUNT 作为输入嵌入,其验证损失改善效果相当于增加 57% 算力的 LM。 该方法允许在推理时切换领域语料的 n-gram 计数表,实现无训练的领域适应,且在 GPU 内存受限时优于增加学习嵌入的方法。
来源:arXiv · NLP · arxiv.org