arXiv · NLP· Faisal Ladhak, Shantanu Acharya, Santiago Akle Serano, Simeng Sun, Boris Ginsburg, Krishna C Puvvada·· 2026-10-12AI 评分43
弹性隐式循环(ELR)消除单循环延迟成本,Koi-4B 四循环达到29分
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
AI 导读
研究提出弹性隐式循环(ELR)方法,消除单循环模型的“税收”,使其精度与同规模非循环模型持平。 通过门控状态更新和混合深度训练,4B与30B-A3B模型单循环性能分别偏差-0.52和+1.04分,四循环显著提升7.25和4.75分。 衍生出的Koi-4B模型在单循环时得分18,四循环时达到29分,匹配Qwen3.5-4B性能。
来源:arXiv · NLP · arxiv.org