arXiv · ML· Yucheng Xie, Fu Feng, Jing Wang, Xin Geng, Yong Rui·· 3 天前AI 评分23
SGKDiv:面向可分解生成模型的特定性引导知识分流
Specificity-Guided Knowledge Diversion for Decomposable Generative Models
AI 导读
研究提出 SGKDiv 框架,利用成对前馈通道构建知识单元,避免 SVD 重参数化带来的参数冗余。 通过校准的条件路由与互补正则化,实现自适应学习知识专业化,替代固定组件分配。 在八个数据集上,SGKDiv 在分布内生成性能优于稠密及 MoE 基线,下游适应能力超过代表性 PEFT 方法。
来源:arXiv · ML · arxiv.org