跳到正文
arXiv · ML· Khiem Le, Ting Hua, Nitesh V. Chawla·· 2 天前AI 评分38

ASH:通过激活引导实现提示增强 GRPO

Get Hint-Augmented GRPO Done Right Through Activation Steering

AI 导读

ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。

来源:arXiv · ML · arxiv.org