跳到正文
arXiv · AI· David Berghaus, Arber Zela, Behzad Shomali, Markus Frey, Mehdi Ali, Rafet Sifa, Volkan Cevher·· 23 小时前AI 评分31

RELOAD 通过在有类型决策模型中引入循环扩展推理能力

Extending Reasoning in Typed Decision Models via Looping

AI 导读

论文提出 RELOAD 方法,通过在预训练编码或解码器的中间块添加衰减循环并配合轻量控制器自适应选择路径次数,提升有类型决策模型的推理能力。 在 0.4B 至 4B 参数的六个模型上测试,循环训练显著提升了精度与校准效果,编码器精度最高提升 23 分。这种提升源于模型处理比训练时更长的推理链,且控制器以约四分之三的算力保留了大部分收益。

来源:arXiv · AI · arxiv.org