跳到正文
arXiv · AI· Xianchao Guan, Zijun Xiong, Yifeng Wang, Yubo Cui, Yaowei Wang, Guo-Sen Xie, Xin Li, Zheng Zhang·· 1 天前AI 评分28

SWIFT:基于小世界连通性打破稀疏微调信息孤岛的框架

Breaking Information Islands in Sparse Tuning via Small-World Connectivity

AI 导读

SWIFT 提出一种基于小世界连通性的稀疏微调框架,利用固定散射置换实现特征组间路由,无需增加可训练参数,打破特征维度信息孤岛。 理论与实验表明,SWIFT 在常识推理、自然语言生成及图像分类任务中平均优于其他参数高效微调(PEFT)基线,部分场景可达或超过全量微调效果。 该工作已被 NeurIPS 2026 接收。

来源:arXiv · AI · arxiv.org