arXiv · ML· Hao Wu·· 9 天前AI 评分16
持续学习中的表征漂移：LoRA 与 N-gram 记忆对比
Representation Drift in Continual Learning: LoRA versus N-gram Memory
AI 导读
在 48 层 MoE 模型上，仅更新 N-gram 记忆对通用数学/代码表征的相对 RMS 漂移分别为 26%/15%，显著低于共享 LoRA 的 97%/39%。 N-gram 记忆的漂移在第一项任务后趋于稳定（约 25%），不随任务数增加；LoRA 则持续累积。 该结果支持长期在线学习中将新知识写入记忆表、保持主干固定的设计原则。
来源：arXiv · ML · arxiv.org