跳到正文
arXiv · AI· Jipei He, Wenhui Tan, Xiaoyi Yu, Enver Sangineto, Fiorenzo Parascandolo, Rita Cucchiara, Ruihua Song·· 16 小时前AI 评分40

STAIR 如何利用早期计算历史提升 LLM 新问题解决能力

Can Computation from Earlier Problems Help LLMs Solve New Ones?

AI 导读

STAIR 通过复用早期回答的注意力 key 和 value 来改进后续推理,在 Qwen 模型上使后续轮次准确率平均提升最高 11.67 个百分点。 该方法仅训练 12,288 个参数,骨干网络与存储条目保持固定,并在 HumanEval+ 上无需额外训练即可提升代码生成表现。

来源:arXiv · AI · arxiv.org