arXiv · AI· Aakash Sarkar, Ananya Mukherjee, Motoshige Sato·· 1 天前AI 评分31
关系组合作为平行传输：注意力机制中逐实体坐标系强制性的理论分析
Relational Composition as Parallel Transport: What Per-Entity Frames Force in Attention
AI 导读
该研究证明在逐实体坐标系下，不变注意力分数仅依赖于范数及传输内积。 17/17 拟合种子在最小宽度下通过长度 1000 测试，而两倍宽度下为 7/18。 在 CLUTRR 解析任务中，传输组合比匹配 Transformer 高出 41 分。
来源：arXiv · AI · arxiv.org