多头注意力表达力形式化研究公开

2026年10月20日，Karthik Viswanathan等人发布论文，通过形式化验证探讨多头注意力机制的表达力。研究定义了头复杂度，推导了精确线性分式范数，并证明了一般阈值度下界。 该研究还针对对称布尔函数，展示了下界严格成立的十位显式函数。相关Lean形式化代码及研究轨迹已公开，旨在支持代理辅助定理证明及机制可解释性中的形式化验证，以此实现前沿模型机制研究的概念验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。