跳到正文
arXiv · ML· Subham Rath, Raj Dandekar, Rajat Dandekar, Sreedath Panat·· 2026-10-07AI 评分25

What pass@k 无法衡量:后训练后的多样性与能力保持评估

What pass@k Cannot Measure: Evaluating Diversity and Capability Retention after Post-Training

AI 导读

pass@k 协议无法检测模型输出多样性,Qwen2.5-1.5B-Instruct 后训练中该缺陷显著。 GRPO 与 RFT 训练使多样性指标反向变化,且该差异在仅保留正确样本后仍存在,排除了准确性单独解释的可能性。 pass@1 是唯一能显著区分训练组别的指标,但仅奖励正确解多样性最低的组合,突显了现有评估标准的局限性。

来源:arXiv · ML · arxiv.org