arXiv · NLP· Zeguan Xiao, Zhuocheng Liang, Yun Chen, Yong Wang, Guanhua Chen, Pinyan Lu·· 13 小时前AI 评分23
CurvDelta:低曲率 delta 建模用于模型学习与遗忘
CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning
AI 导读
CurvDelta 框架通过低曲率空间参数化更新,解决 LLM 适配中能力保留难题。 利用 K-FAC 实现高效适配,CurvLoRA 提供低秩变体。在数学推理、代码生成及知识遗忘任务中,其在 TOFU 和 MUSE 基准上展现出优于基线模型的获取-保留平衡,保留性能接近从零开始重训练的参考水平。
来源:arXiv · NLP · arxiv.org