Delta N-gram 提出 N-gram 记忆写入方法减少表征漂移
热点事件持续更新
Delta N-gram 提出 N-gram 记忆写入方法减少表征漂移
2 篇报道2 个报道来源2 小时前更新
先了解这件事
AI 综述
arXiv 发布 Delta N-gram 论文，针对语言模型在线更新易产生表征漂移的问题，提出一种基于哈希 N-gram 表的前向连续写入方法。该方法保持预训练表 T^0 不变，通过 4.1M 参数写入器利用块平均 delta 规则更新证据，解决了在线梯度写入易导致遗忘的难题，且清除 Δ 即可恢复原始模型。测试结果显示，在 Qwen3.8-Flash-Next 上该方法抗干扰保留率达 70%，为对比 LoRA 等方法的表征稳定性提供了有效方案。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
Delta N-gram：向语言模型原生 N-gram 记忆的前向连续写入方法事件进展
2 个进展
- 10月23日 12:00 · 1 篇报道提出 Delta N-gram 前向写入机制arXiv · NLP：Delta N-gram：向语言模型原生 N-gram 记忆的前向连续写入方法
- 10月14日 12:00 · 1 篇报道提出N-gram记忆对比LoRA减少表征漂移arXiv · ML：持续学习中的表征漂移：LoRA 与 N-gram 记忆对比
报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv · NLPDelta N-gram：向语言模型原生 N-gram 记忆的前向连续写入方法
Delta N-gram 提出一种前向写入路径，将证据存入哈希 N-gram 表，预训练表 T^0 保持不变。 方法包含 4.1M 参数写入器，通过块平均 delta 规则更新；在 Qwen3.8-Flash-Next 上测试，delta writer 抗干扰保留率达 70%。 清除 Δ 可恢复原始模型，解决了在线梯度写入易遗忘的问题。
10月14日
- arXiv · ML持续学习中的表征漂移：LoRA 与 N-gram 记忆对比
在 48 层 MoE 模型上，仅更新 N-gram 记忆对通用数学/代码表征的相对 RMS 漂移分别为 26%/15%，显著低于共享 LoRA 的 97%/39%。 N-gram 记忆的漂移在第一项任务后趋于稳定（约 25%），不随任务数增加；LoRA 则持续累积。 该结果支持长期在线学习中将新知识写入记忆表、保持主干固定的设计原则。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。