arXiv · ML· Gaurav Sarkar (International Institute of Information Technology, Hyderabad), Syed Affan Daimi (International Institute of Information Technology, Hyderabad)·· 7 天前AI 评分40
Mask-Pattern Position Augmentation 实现扩散 LLM 免训练长上下文外推
Mask-Pattern Position Augmentation: Training-Free Long-Context Extrapolation for Diffusion LLMs
AI 导读
提出 Mask-Pattern Position Augmentation(MPPA)技术,实现扩散 LLM 免训练长上下文外推。 在 LLaDA-8B-Instruct 模型上,MPPA 将 8192 长度下的困惑度从 19.51 降至 3.12,实现 100% passkey 检索。 该技术通过累计掩码密度偏移恢复旋转位置相位分辨率,为扩散原生的长上下文生成提供新路径。
来源:arXiv · ML · arxiv.org