跳到正文
arXiv · ML· Gaurav Sarkar (International Institute of Information Technology, Hyderabad), Syed Affan Daimi (International Institute of Information Technology, Hyderabad)·· 7 天前AI 评分40

Mask-Pattern Position Augmentation 实现扩散 LLM 免训练长上下文外推

Mask-Pattern Position Augmentation: Training-Free Long-Context Extrapolation for Diffusion LLMs

AI 导读

提出 Mask-Pattern Position Augmentation(MPPA)技术,实现扩散 LLM 免训练长上下文外推。 在 LLaDA-8B-Instruct 模型上,MPPA 将 8192 长度下的困惑度从 19.51 降至 3.12,实现 100% passkey 检索。 该技术通过累计掩码密度偏移恢复旋转位置相位分辨率,为扩散原生的长上下文生成提供新路径。

来源:arXiv · ML · arxiv.org