研究指出循环语言模型停头算力节省效果被高估

Tsung-Han Wu、Minsuk Heo 和 Kenny Tan 报告了针对循环语言模型中“停头”机制的研究。他们在 arXiv 上发布的预印本中，基于从零开始训练的参数规模最高达 1.3B 的模型，指出了现有停头设计存在的两个主要问题。 研究发现，尽管混合迭代的停头预测显示平均迭代次数低于 50%，但在实际生成过程中，几乎所有 token 仍需运行至全部迭代。这意味着停头在减少计算量方面的实际效果远未达到理论预测值，之前的节省估算可能存在偏差。 造成这一现象的原因在于训练过程中未对单迭代停止进行评分。此外，研究指出当序列在批次中生成并运行至最慢 token 停止时，没有停头的模型在相同成本下表现几乎同等良好。因此，仅依赖平均迭代次数会高估停头带来的计算节省，除非采用带强早期停止惩罚的评分机制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。