arXiv · ML· Ming Lian·· 7 小时前AI 评分30
Causal Optimal-Transport Attention: Positional Priors and Length Extrapolation
Causal Optimal-Transport Attention: Positional Priors and Length Extrapolation
AI 导读
因果最优传输（OT）注意力中的掩码阻碍了列平衡。研究提出了前缀一致的非平衡算子，并刻画其诱导的位置先验。 在25M和100M参数语言模型的预注册实验中，该方法实现了优于softmax的损失外推，且CABLE在三种训练长度下均优于评估时配合YaRN的RoPE。 仅改变超出训练长度的偏置即可预测长上下文损失的变化方向。
来源：arXiv · ML · arxiv.org