发布CurvDelta与CurvLoRA低曲率适配框架
热点事件持续更新
发布CurvDelta与CurvLoRA低曲率适配框架
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Zeguan Xiao等人发布CurvDelta与CurvLoRA框架及论文,提出利用低曲率空间参数化更新解决大语言模型适配中的能力保留难题。CurvDelta通过引入保持约束至模型更新参数化中,并结合K-FAC技术实现高效适配,CurvLoRA则作为其低秩变体提供进一步优化。 在数学推理、代码生成及知识遗忘任务中,该框架在TOFU和MUSE基准测试中展现出优于基线模型的获取-保留平衡效果,其保留性能接近从零开始重训练的参考水平,有效缓解了模型更新过程中的灾难性遗忘问题。
AI 根据报道生成 · 13 小时前更新
最新进展11月19日 13:00
CurvDelta:低曲率 delta 建模用于模型学习与遗忘报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv · NLPCurvDelta:低曲率 delta 建模用于模型学习与遗忘
CurvDelta 框架通过低曲率空间参数化更新,解决 LLM 适配中能力保留难题。 利用 K-FAC 实现高效适配,CurvLoRA 提供低秩变体。在数学推理、代码生成及知识遗忘任务中,其在 TOFU 和 MUSE 基准上展现出优于基线模型的获取-保留平衡,保留性能接近从零开始重训练的参考水平。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月19日 14:00
- 近 24 小时变化
- –
02.557.510
14:0016:0018:0020:0022:0011月20日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。