arXiv发布Transformer线性成本微调研究
热点事件持续更新
arXiv发布Transformer线性成本微调研究
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Anastasis Kratsios等人于2025年8月31日在arXiv发布v1版本论文，研究Transformer在结构化任务偏移下的微调方法。该研究提出基于认证恢复的理论框架，探讨单一查询、单头架构中从源任务噪声数据到分布外任务的适应性。 2026年10月26日，作者发布v2修订版。新研究证明，该方法在源阶段训练需O(ε^{-d})复杂度，而OOD阶段仅需微调值矩阵A。由于该子问题为凸优化且参数量呈至多线性O(ε^{-1})扩展，显著降低了最坏情况下的计算开销，实现了线性成本微调。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
Transformer 在结构化任务偏移下的线性成本微调：基于认证恢复的研究报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · MLTransformer 在结构化任务偏移下的线性成本微调：基于认证恢复的研究
Transformer 在单一查询、单头架构中可通过两阶段过程实现从源任务噪声数据到分布外（OOD）任务的认证恢复，并能将值矩阵 A 适配至任意精度 ε。 源阶段训练采用 O(ε^{-d}) 复杂度，而 OOD 阶段仅需微调值矩阵 A，因该子问题为凸优化且参数量呈至多线性 O(ε^{-1}) 扩展，大幅降低了最坏情况下的计算开销。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。