arXiv · NLP· Shangxi Wu, Xiaorong Yan, Xiaojun Meng, Yuxiang Zhang, Jiansheng Wei·2026-10-27 12:00· 3 小时前AI 评分31

ECHO 通过熵控实现 LLM 微调的稳态优化

Entropic Control for Homeostatic Optimization: Pre-empting Catastrophic Forgetting via Dynamic Feedback

AI 导读

ECHO 框架利用输出熵作为 KL 散度主要成分，通过实时监测遗忘风险解决 LLM 监督微调中的灾难性遗忘问题。该方法分解 KL 散度识别熵为高效在线代理，应用弹性控制器动态调节回放数据梯度权重。在 0.6B 至 9B 参数架构评估中，ECHO 保持在稳态-可塑性前沿并扩展了该边界。

来源：arXiv · NLP · arxiv.org