跳到正文
arXiv · NLP· Dongkyu Cho, Rumi Chunara, Ali Behrouz·· 2026-10-12AI 评分38

语言模型如何生成回放数据与选择回放目标以支持自我保留

Self-Preservation in Language Models

AI 导读

研究表明 Qwen 模型可通过生成回放数据及在部分场景下选择回放目标,实现更广泛的自我保留能力。 实验发现生成的回放减少了银行外任务的遗忘,结合部分银行提升了 4B 模型的平均保留率,但固定示例预算下会牺牲新任务收益。

来源:arXiv · NLP · arxiv.org