跳到正文
arXiv · ML· Eric O. Korman·· 2026-10-15AI 评分32

逆推理模型通过仅答案数据实现高效后训练与验证

Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data

AI 导读

提出利用逆推理LLM处理仅答案数据的自蒸馏技术,将CoT视为隐变量,在GRPO训练饱和后单次离线蒸馏可使Qwen3-0.6B在困难提示下的pass@1提升近一倍。 该方法在Countdown任务中全比例优于拒绝采样自蒸馏,且逆模型作为验证器可将best-of-n选择准确率从0.753提升至0.969。 COLM 2026 Workshop论文展示了逆模型在持续后训练和测试时验证的双重应用价值。

来源:arXiv · ML · arxiv.org