跳到正文
arXiv · NLP· Futing Wang, Chenxi Li, Jianhao Yan, Yun Luo, Zhi Wang, Yizhuo Li, Runzhe Zhan, Yu Cheng, Tao Lin·· 2026-10-14AI 评分35

TPPO:用于语言模型推理的追踪值 PPO 方法

TPPO: Tracking-Value PPO For Language Model Reasoning

AI 导读

提出追踪值 PPO(TPPO),解决标准 critic 在稀疏终端奖励下难以追踪轨迹价值演化的问题。 TPPO 基于对数几率空间的贝叶斯分解构造累积价值参数化。 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上,TPPO 比 PPO 的数学推理总分分别提升 7.0 和 8.4 分,并扩展至 Qwen3-4B、Qwen2.5-Math-1.5B 等模型及代码任务。

来源:arXiv · NLP · arxiv.org