循环语言模型的停头是否真正节省算力？

预训练最多 1.3B 参数的模型发现，混合迭代的停头预测平均迭代次数低于 50%，但实际生成中几乎所有 token 仍运行至全部迭代。 原因在于训练未对单迭代停止进行评分，且按批次最慢 token 停止时，无停头模型在相同成本下表现几乎同等良好，平均迭代次数会高估节省。