跳到正文
arXiv · ML· Mahir Jain, Parshva Runwal, Aditya Ray Mishra, Raj Singh Bani, Arvasu Kulkarni, Sandeep Singh, Siddharth Panwar·· 3 天前AI 评分22

AAA 自适应各向异性注意力:面向轴结构化信号的架构创新

Adaptive Anisotropic Attention for Axis-Structured Signals

AI 导读

自适应各向异性注意力(AAA)将注意力分解为时间路径与空间路径,并通过小门控机制预测每token两者的凸组合权重。模型 AXON 在6项EEG下游任务中,其平均平衡准确率在探针学习和全量微调下均优于稠密基线。控制音频频谱实验表明该轴分解方法可推广至EEG之外的场景。

来源:arXiv · ML · arxiv.org