arXiv · NLP· Hengyu Jin, Shu Yang, Di Wang·· 8 小时前AI 评分28
仅检查最终检查点并不足够：分析训练轨迹中潜在推理的可信度
Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories
AI 导读
潜在推理模型在准确性提升的同时，对改变推理路径的反事实编辑敏感度反而降低，且不同方法轨迹各异。 研究者利用 verified counterfactual edits 发现 ProsQA 和 GSM8K 中干预敏感度呈对立趋势，并通过调整训练程序改善响应性。 仅评估最终检查点会掩盖可信度变化及潜在状态的真实贡献。
来源：arXiv · NLP · arxiv.org