跳到正文
arXiv · ML· Bohang Sun, Max Zhu, Francesco Caso, Christopher Irwin, Jialin Yu, Pietro Li\`o·· 5 小时前AI 评分27

TDLM: 扩散语言模型的自适应时间整合

TDLM: Adaptive Temporal Integration for Diffusion Language Models

AI 导读

TDLM 提出时间自条件机制,允许未解决位置关注自身隐藏表示历史,复用已执行的计算。 在 LLaDA 上,时间模块仅增加约 0.84% 可训练参数;在 LLaDA 和 Dream 上,生成速度最高快 7.15 倍,答案质量具有竞争力。

来源:arXiv · ML · arxiv.org