arXiv · AI· Yupeng Yao·· 2026-10-08AI 评分20
评估轨迹特征对最终层注意力路由的影响
Evaluating Trajectory Features for Routing Final-Layer Attention
AI 导读
研究评估隐藏状态外推误差、曲率等轨迹特征能否提升注意力路由预测,结果在六项预设比较中均未显示正向增益。 在 Qwen3.5-4B-Base 上,参数匹配的固定投影控制比轨迹路由器 NLL 低 0.00356 nats/token。 次要结果依赖于操作移除类型,且学习型路由器在缓存续写时保持较慢速度。
来源:arXiv · AI · arxiv.org