arXiv · ML· Bishwamittra Ghosh, Soumi Das, Qinyuan Wu, Mohammad Aflah Khan, Deepak Garg, Krishna P. Gummadi, Evimaria Terzi·· 2026-10-14AI 评分33
大语言模型中记忆与学习的相互作用机制研究
Understanding the Interplay between Memorization and Learning in Large Language Models
AI 导读
研究提出上下文记忆度量化指标,精准解耦大语言模型中的死记硬背与语境学习。 实验证实最优语言学习无法完全避免记忆,不同训练串在不同训练轮次被记住。 提出记忆感知训练方案,通过动态降采样平衡学习并减少记忆,NeurIPS 2026 收录。
来源:arXiv · ML · arxiv.org