ToPA分块Touplitz方法提升微调效率

1. 12:00
   arXiv · ML

   ToPA：通过分块Touplitz自适应实现高效微调

   针对参数高效微调中低秩方法限制更新秩、稀疏方法牺牲参数空间灵活性的问题，研究者提出ToPA。 ToPA使用分块Touplitz矩阵替代标准Touplitz矩阵，缩短乘法链长度以稳定训练，并提升表达能力。 实证评估在21个NLP与CV数据集、5种模型架构上验证了ToPA的有效性。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。