arXiv · AI· Wenqi Zeng, Chen Feng, YuAng Chen·· 7 小时前AI 评分31
混合语言模型中线性注意力构建查询：以 Qwen3.5 与 Granite4.0 为例的检索机制研究
Who Asks, Who Answers: Linear Attention Builds the Query in Hybrid Language Models
AI 导读
summary_zh: 混合语言模型中，线性注意力直接参与构建 softmax 注意力的查询，而非仅压缩上下文。 在 Qwen3.5 和 Granite4.0 中发现 Encode-Address 电路；跨架构移植 Address 块可在不更新权重的情况下恢复 0.92–0.94 的检索准确率，且大规模模型中该计算趋于分布式。
来源：arXiv · AI · arxiv.org