arXiv · NLP· Yifan Lu, Rubin Wei, Ziyun Zou, Junhong Liang, Haolin Yang, Xinlin Zhuang, Abhijit Das, Adinath Madhavrao Dukre, Shadab Khan, Zhouhan Lin, Imran Razzak·· 4 小时前AI 评分27
Mixture-of-Memories：模块化知识注入下的低开销语言建模
Mixture-of-Memories: Low-Overhead Language Modeling with Modular Knowledge Injection
AI 导读
MoM框架分离路由式神经记忆与可写事实记忆，结合冻结基座模型与两个神经记忆专家。 轻量Budget Router根据不确定性特征设置每token混合权重，新事实追加无需重训练组件。 实验显示MoM提升了预测准确性与可更新性，同时保持低推理开销。
来源：arXiv · NLP · arxiv.org