跳到正文
arXiv · NLP· Anxin Guo, Tianlong Huang, Chenxiao Yang, Zhiyuan Li·· 2026-10-20AI 评分24

复制与重复:从前缀匹配到位置哈希

Copying Under Repetition: From Prefix Matching to Position Hashing

AI 导读

研究证明采用 Vo-旋转机制的两层 Transformer 能在任意重复下正确复制并终止字符串,宽度需为 O(log N/log log N)。 该模型利用中国剩余定理编码距离,而基于有限精度 Softmax 的 NoPE 等位置编码在重复序列中会失效。 此架构解释了前沿 LLM 在长重复块上的截断错误,并在合成实验中实现了接近 5005 长度的泛化。

来源:arXiv · NLP · arxiv.org