ReFINE框架：强化快权重长上下文建模

2026年10月28日，arXiv发布论文《ReFINE：通过下一序列预测增强快速权重架构》，由Hee Seung Hwang等人提出ReFINE框架，旨在解决快速权重架构中NTP目标与记忆状态演化的不匹配问题。该框架基于预测熵选择位置、生成多token rollout，并采用GRPO优化序列级奖励。 ReFINE适用于预训练语言模型的整个生命周期，包括中训练、后训练和测试时训练。实验表明，该方法在LaCT-760M和DeltaNet-1.3B模型上，于长上下文检索及问答任务中表现优于传统NTP微调。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。