跳到正文
arXiv · ML· Mohammad Aflah Khan, Krishna P. Gummadi, Manish Gupta, Abhilasha Ravichander·· 2026-10-16AI 评分24

部分 RoPE 的性能与收敛研究

Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE

AI 导读

论文提出部分 RoPE 可将 KV cache 内存节省高达 10 倍,同时保持与完整 RoPE 相当的最终损失。 系统研究表明仅对约 10% 的维度应用 RoPE 即可匹配完整 RoPE 的收敛速度,且无位置编码易导致损失尖峰。 这些发现突显了部分 RoPE 作为效率与稳定性之间有效折衷方案的价值。

来源:arXiv · ML · arxiv.org