跳到正文
arXiv · ML· Arun Vignesh Malarkkan, Manan Roy Choudhury, Utkarsh Byahut, Yash Ravindra Charde, Vivek Gupta, Xiquan Cui, Xiangliang Zhang, Yanjie Fu·· 10 天前AI 评分40

潜在推理缺乏不变性:基于子空间约束的稳健推理细化方法

Latent Reasoning Does Not Lack Signal, It Lacks Invariance: Subspace-Constrained Refinement for Robust Reasoning

AI 导读

TILR框架通过子空间约束修正潜在轨迹,解决现有方法对超参数及参考依赖的脆弱性问题。该训练免法将对比更新投影至稳定子空间,并利用自适应门控抑制不可靠修正。在Coconut骨干模型上,TILR在语义等效改写下提升答案一致性11.4%,降低潜在轨迹方差约30%。

来源:arXiv · ML · arxiv.org