arXiv · NLP· Guangfu Guo, Xiaoqian Lu, Linsey Pang, Weiran Yao, Haolin Chen, Long Cheng, Kunpeng Liu·· 18 天前AI 评分20
RangeSWA:连续扩散语言模型的免训练长度外推方法
RangeSWA: Training-Free Length Extrapolation for Continuous Diffusion Language Models
AI 导读
提出免训练方法 RangeSWA,结合局部滑动窗口注意力、远程块摘要和动态内容检索,解决连续扩散语言模型在生成长度超过训练长度时的文本重复与语义漂移问题。 方法通过位置重映射、条件注意力校正和去噪阶段自适应窗口调度缓解生成质量退化。 实验显示,RangeSWA 在多个连续扩散语言模型上有效降低了长文本生成的困惑度和文本重复率。
来源:arXiv · NLP · arxiv.org