KDiv提出可分解图像生成预训练新范式

Yucheng Xie等人提出并发布了“知识分流”（KDiv）新范式，旨在解决预训练中知识纠缠问题。该方法通过因式分解权重并引入条件感知路由，显著提升了下游任务适配效率。 KDiv将随机初始化的权重分解为秩一“知识单元”。在预训练期间，共享知识被固定于“基因”，而条件差异分配至“尾部”。这种架构设计实现了生成模型的有效分解。 实验表明，KDiv在类条件、文本及图像生成任务中的性能匹敌或超越密集基线。且其训练参数预算远低于低秩适配方法，展现了较高的效率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。