arXiv · NLP· Hao Wu·· 3 小时前AI 评分22
Delta N-gram:向语言模型原生 N-gram 记忆的前向连续写入方法
Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory
AI 导读
Delta N-gram 提出一种前向写入路径,将证据存入哈希 N-gram 表,预训练表 T^0 保持不变。 方法包含 4.1M 参数写入器,通过块平均 delta 规则更新;在 Qwen3.8-Flash-Next 上测试,delta writer 抗干扰保留率达 70%。 清除 Δ 可恢复原始模型,解决了在线梯度写入易遗忘的问题。
来源:arXiv · NLP · arxiv.org