arXiv · NLP· Xun Sun, Thanh Thi Nguyen, Thuy-Trang Vu·· 3 小时前AI 评分29
HERD:面向持续学习的工具进化递归蒸馏框架
HERD: Harness-Evolving Recursive Distillation for Continual Learning
AI 导读
HERD 框架结合非参数上下文与参数蒸馏,旨在解决持续学习中的灾难性遗忘。 在 TRACE+17 数据集的 25 阶段任务流测试中,该框架在固定资源预算下实现了最强参数基线的新任务获取水平,同时展现出最低的遗忘率和最强的通用能力保持。
来源:arXiv · NLP · arxiv.org