arXiv · ML· Zhe Chen, Xiaolin Zhou, Xiyang Hu·· 10 天前AI 评分22
PCRS:面向 Token 高效 LLM 推理的相位条件奖励塑形框架
Phase-Conditioned Reward Shaping for Token-Efficient LLM Reasoning
AI 导读
提出相位条件奖励塑形(PCRS)框架,结合相位识别与训练时奖励分配。 PCRS 包含隐藏状态(PCRS-H)与冻结文本分类器(PCRS-T)两条路线,通过重叠标签与重复检测调整 token 惩罚。 在六大基准上,默认文本分类配置将平均响应长度降低 3.13%,Oracle Pass@16 从 86.08% 提升至 87.67%。
来源:arXiv · ML · arxiv.org