跳到正文
热点事件持续更新

STAIR 复用早期注意力提升 LLM 推理

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

2026年11月20日,Jipei He 等人在 arXiv 发布研究,提出名为 STAIR 的方法。该方案旨在解决 LLM 在多轮对话中利用早期历史数据的问题,通过捕获早期回答生成的注意力 key 和 value,存入只读存储库中。 在机制上,STAIR 学习将当前查询向量反射并重定向至该存储库,从而在处理新提示时复用早期计算历史。该方法在 Qwen 模型上验证了效果,使后续轮次的准确率平均提升最高 11.67 个百分点。 在效率与泛化方面,该方法仅训练 12,288 个参数,骨干网络与存储条目保持固定。此外,STAIR 在 HumanEval+ 基准上无需额外训练即可提升代码生成表现,展示了在四个推理基准上的改进潜力。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv · AI
    STAIR 如何利用早期计算历史提升 LLM 新问题解决能力

    STAIR 通过复用早期回答的注意力 key 和 value 来改进后续推理,在 Qwen 模型上使后续轮次准确率平均提升最高 11.67 个百分点。 该方法仅训练 12,288 个参数,骨干网络与存储条目保持固定,并在 HumanEval+ 上无需额外训练即可提升代码生成表现。

本事件热度走势

可比范围当前
6
可比范围峰值
911月20日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。