arXiv · ML· Karthik Viswanathan, Plamen Dimitrov, Stefano Rocca, Sarayu Sirikonda·· 9 小时前AI 评分30
形式化验证的自动研究分析多头注意力表达力
Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
AI 导读
该研究通过形式化验证探讨了多头注意力机制的表达力，定义了头复杂度并推导了精确线性分式范数。 研究证明了一般阈值度下界，并针对对称布尔函数展示了该下界严格成立的十位显式函数。结果支持了使用前沿模型进行机制可解释性研究的概念验证。
来源：arXiv · ML · arxiv.org