跳到正文
arXiv · ML· Yucheng Xie, Fu Feng, Ruixiao Shi, Jing Wang, Xin Geng, Yong Rui·· 9 小时前AI 评分38

KDiv:面向可分解图像生成模型预训练的条件感知新范式

Knowledge Diversion: A Novel Paradigm for Pre-training Decomposable Image Generation Models

AI 导读

KDiv通过因式分解权重并引入条件感知路由,解决了预训练中知识纠缠的问题,显著提升了下游任务适配效率。 该方法将随机初始化的权重分解为秩一“知识单元”,并在预训练期间将共享知识固定于“基因”、条件差异分配至“尾部”。 实验表明,KDiv在类条件、文本及图像生成任务中,性能匹敌或超越密集基线,且训练参数预算远低于低秩适配方法。

来源:arXiv · ML · arxiv.org