LessWrong · All Posts· Alek Westover·· 7 天前AI 评分38
Dory 4B 循环 Transformer 增强无 CoT 推理能力的研究
Looping a transformer increases no-CoT capabilities more than general capabilities
AI 导读
研究 NVIDIA Dory 4B 发现,增加循环次数显著提升无 CoT 推理能力(NCRI),远超通用能力增长。Dory 在 4 次循环训练后,增加至 8 次循环仍改进性能,但 CoT 可控性接近零。这表明循环 Transformer 可能使模型更难监控。
来源:LessWrong · All Posts · lesswrong.com