arXiv · AI· Haotian Wu, Zeming Chen, Hao Zhao, Antoine Bosselut·· 8 小时前AI 评分34
TTT-Consolidate 提出了一种利用多智能体推理轨迹作为测试时训练(Test-Time Training)自适应数据的框架,用于提升后续推理性能。
Consolidating Reasoning with Test-Time Training
AI 导读
该框架通过双层优化进行元学习,内循环使用轻量级 LoRA 适配器编码轨迹,外循环学习元参数;同时构建了包含 12,810 道数学题的 OpenParallelThinking 语料库。 在数学和 STEM 基准测试中,TTT-Consolidate 在匹配计算和运行时间的情况下,比最佳聚合基线高出最多 20 个百分点,且随着可用轨迹数量增加,其从失败轨迹中恢复的能力增强。
来源:arXiv · AI · arxiv.org