arXiv · ML· Anastasis Kratsios, Tin Sum Cheng, Bum Jun Kim, Daniel Roy·· 6 小时前AI 评分20
Transformer 在结构化任务偏移下的线性成本微调：基于认证恢复的研究
When is Fine-Tuning Scalable? Certified Recovery from Noisy Data and Linear-Cost Fine-Tuning on Structured Task Shifts
AI 导读
Transformer 在单一查询、单头架构中可通过两阶段过程实现从源任务噪声数据到分布外（OOD）任务的认证恢复，并能将值矩阵 A 适配至任意精度 ε。 源阶段训练采用 O(ε^{-d}) 复杂度，而 OOD 阶段仅需微调值矩阵 A，因该子问题为凸优化且参数量呈至多线性 O(ε^{-1}) 扩展，大幅降低了最坏情况下的计算开销。
来源：arXiv · ML · arxiv.org