跳到正文
arXiv · ML· Mostafa 'Neo' Mohsenvand·· 10 天前AI 评分65

《Attention at Absolute Zero》:揭示 Transformer 注意力层在图搜索与 SET 游戏中的计算局限及新架构

Attention at Absolute Zero

AI 导读

研究指出 Transformer 在图规模增长时停止学习图搜索,且需大量样本才能学习 SET 游戏。论文提出深度定律和尺寸定律,前者表明 L 层网络仅能覆盖 2^L-1 步逻辑路径,后者指出存在性识别需满足特定温度与边际关系。

来源:arXiv · ML · arxiv.org