arXiv · AI· Anda Tang, Junjie Wang, Xuanlin Yang, Cong Fang, Zhouchen Lin·2026-10-27 12:00· 1 天前AI 评分36

UTA: 通用训练自适应学习率衰减

UTA: Universal Training Adaptive Learning Rate Decay

AI 导读

提出UTA学习率衰减（LRD）方法，将其视为闭环形状与尺度问题，实现分段最优形状与训练状态自适应。在LLaMA（60M至1B参数）及ResNet50、ViT-B模型上验证，具备即插即用优势且开销可忽略。广泛的消融研究证实了UTA在峰值学习率、最终衰减比及参数φ₀等维度上的鲁棒性。

来源：arXiv · AI · arxiv.org