arXiv · AI· Zijian Jia, Peixuan Zhang, Genying Li, Di Wu, Yujie Fu, Si Li, Boxin Shi, Shuchen Weng·· 4 小时前AI 评分29
LLaCO 利用竞赛感知语义调度解决连续扩散模型中的时间压缩问题
LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling
AI 导读
LLaCO 提出了竞争阈值理论，表明嵌入范数衰减导致欧氏距离产生虚假的超越现象。它采用球形噪声过程，通过向掩码偏置端点的测地线插值来消除范数衰减，保持准确的 token 竞争。 作为 8B 模型，LLaCO 通过嵌入方向适配器和时间步条件调制将预训练主干适配于连续表示，性能优于以往的连续扩散基线，媲美同等规模的离散扩散模型。
来源：arXiv · AI · arxiv.org