Causal OT Attention 论文预印本发布
热点事件持续更新
Causal OT Attention 论文预印本发布
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
2026年11月1日，Ming Lian 在 arXiv 发布预印本论文《Causal Optimal-Transport Attention: Positional Priors and Length Extrapolation》。 该研究指出，因果最优传输（OT）注意力中的掩码机制阻碍了列平衡。为此，研究提出了一种前缀一致的非平衡算子，并刻画了其诱导的位置先验。 在25M和100M参数语言模型的预注册实验中，该方法实现了优于softmax的损失外推。CABLE在三种训练长度下均优于评估时配合YaRN的RoPE。仅改变超出训练长度的偏置即可预测长上下文损失的变化方向。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · MLCausal Optimal-Transport Attention: Positional Priors and Length Extrapolation
因果最优传输（OT）注意力中的掩码阻碍了列平衡。研究提出了前缀一致的非平衡算子，并刻画其诱导的位置先验。 在25M和100M参数语言模型的预注册实验中，该方法实现了优于softmax的损失外推，且CABLE在三种训练长度下均优于评估时配合YaRN的RoPE。 仅改变超出训练长度的偏置即可预测长上下文损失的变化方向。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。