跳到正文
LessWrong · All Posts· Wuschel Schulz·· 8 天前AI 评分21

LLM 在填充 token 上学习多步推理:理论与实证分析

LLMs can learn (some) multi-step reasoning on filler tokens

AI 导读

研究者修改 Pfau et al. 的训练方法,使模型在 Qwen3.6-35B-A3B 和 gpt-oss-20b 上实现多步填充 token 推理。 该方法允许 Transformer 在 7 个任务中的 3 个上进行多步推理,并提供了所需层数的理论分析,表明填充 token 推理不限于完全并行任务。

来源:LessWrong · All Posts · lesswrong.com