arXiv · NLP· Hee Seung Hwang, Xindi Wu, Sanghyuk Chun, Olga Russakovsky, Zhiwei Deng·· 5 小时前AI 评分37
ReFINE：通过下一序列预测增强快速权重架构
Reinforced Fast Weights via Next-Sequence Prediction
AI 导读
针对快速权重架构中NTP目标与记忆状态演化的不匹配，提出ReFINE方法。 基于预测熵选择位置，生成多token rollout，并使用GRPO优化序列级奖励。 实验显示，ReFINE在LaCT-760M和DeltaNet-1.3B上的长上下文检索及问答任务中优于NTP微调。
来源：arXiv · NLP · arxiv.org