跳到正文
arXiv · NLP· Xinyue Peng, Zhenlin Liang, Meng Cai, Hua Wang·· 6 小时前AI 评分27

GLOBE: 通过单位球体轨迹引导的在线行为早期退出

GLOBE: Geometry-Led Online Behavioral Early Exit via Unit-Sphere Trajectories

AI 导读

GLOBE 提出一种在线、免训练的早期退出算法,用于终止 CoT 推理流程。 该算法将推理片段嵌入单位球体,通过轨迹方向反转检测生成停滞,在五个基准上减少 49.7% 的输出 tokens。 该方法在保持与完整 CoT 相当的准确率(80.58%)的同时,将端到端墙钟时间降低 51.0%。

来源:arXiv · NLP · arxiv.org