arXiv · NLP· Yuxuan Zhou, Junyuan Shang, Tianyu Wang, Chunrui Zheng, Zichang Liu, Wenbin Chang, Shuohuan Wang, Dianhai Yu·· 3 小时前AI 评分24
ECHO 提出高效因果自递归方法，通过主干最终层直接预测多步未来，并利用动态深度采样降低训练开销，消除现有多 token 预测需额外模块的局限。
ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
AI 导读
在预训练阶段，该方法以一半的多 token 预测训练开销，将额外深度转化为下游推理与代码任务的准确率提升，突破了辅助模块的性能饱和瓶颈。 推理阶段，预训练模型可作为自身草案生成器，在开放生成场景保持草案与目标对齐，优势在双倍 token 预算及微调后依然稳健。
来源：arXiv · NLP · arxiv.org