跳到正文
arXiv · NLP· Yongding Tao, Yitong Qiao, Tianqi Shao, Tian Wang, Zhixuan Chu, Xiaoming Wu, Yihong Dong, Ge Li·· 10 天前AI 评分24

研究提出 QK-MAP:无需 QK-Norm 即可控制大语言模型注意力

Large Language Models without QK-Normalization

AI 导读

研究提出 QK-MAP 幅度感知投影方法,在 190M 到 7B 参数模型实验中,其训练和验证损失低于 Standard attention 与 QK-Norm。 QK-MAP 利用多个可学习频率将幅度变化编码为有界相位模式,通过相位和方向而非仅向量长度表示幅度。 实验显示 QK-MAP 保留了对输入尺度的敏感性,并在合成长上下文测试中为相关证据产生了更强的注意力对比。

来源:arXiv · NLP · arxiv.org