arXiv · ML· Sicong Li, Qianqian Xu, Zhiyong Yang, Zitai Wang, Longtao Huang, Xiaochun Cao, Qingming Huang·· 9 小时前AI 评分23
ToPA：通过分块Touplitz自适应实现高效微调
ToPA: Block-wise Toeplitz Adaptation for Expressive and Efficient Fine-Tuning
AI 导读
针对参数高效微调中低秩方法限制更新秩、稀疏方法牺牲参数空间灵活性的问题，研究者提出ToPA。 ToPA使用分块Touplitz矩阵替代标准Touplitz矩阵，缩短乘法链长度以稳定训练，并提升表达能力。 实证评估在21个NLP与CV数据集、5种模型架构上验证了ToPA的有效性。
来源：arXiv · ML · arxiv.org