arXiv · ML· Yuxiang Wang, Kunyu Feng, Yingda Shen, Haoning Xu, Junyu Wang, Zhizheng Wu·· 9 小时前AI 评分25
RecurTrace:使用循环时间记忆的自适应潜在推理
RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory
AI 导读
提出 RecurTrace 解决潜在递归推理中仅依赖前次输出和固定循环次数的问题。 核心模块 Loop Memory Attention 让模型访问之前迭代的自身状态,结合停歇头预测是否继续,在 MathQA 上平均 2.0 个循环时达到 56.9% 准确率。 相比 ACT 等基线,RecurTrace 在 0.6B 至 8B 模型上均提升生成准确率,增益随模型规模从 0.6 点增至 3.4 点。
来源:arXiv · ML · arxiv.org