论文发布ECHO高效因果自递归预训练方法

Yuxuan Zhou等人发表ECHO预训练方法论文，该方法通过主干最终层直接预测多步未来，利用动态深度采样降低训练开销，消除了现有多token预测需额外模块的局限。该方法在预训练阶段以一半的多token预测训练开销，将额外深度转化为下游推理与代码任务的准确率提升，突破了辅助模块的性能饱和瓶颈。在推理阶段，预训练模型可作为自身草案生成器，在开放生成场景保持草案与目标对齐，其优势在双倍token预算及微调后依然稳健。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。