arXiv · ML· Burc Gokden·· 3 小时前AI 评分14
PLGA: 缩放点积注意力的精确泛化及推理坍塌机制
Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference
AI 导读
PLGA 通过构建基于幂律的输入生成双线性算子 G_LM，作为缩放点积注意力 (SDPA) 的精确泛化，并在 G_LM 为单位矩阵时包含 SDPA。该架构证明了精确输入不变性会导致推理坍塌至广义 SDPA，并测得相对波动低于 10^-6。 部分证明核心已在 Lean 4 中机器验证，且块级训练与全局 Gram 打分在 TruthfulQA 上误差小于 5x10^-5。
来源：arXiv · ML · arxiv.org