跳到正文
arXiv · NLP· Yinlong Xu, Jianfeng Huang, Zhengdong Zhou, Mingjie Lin, Fuyu Lv, Dan Ou, Hongxia Xu, Jian Wu·· 8 小时前AI 评分31

Sep-Latent:利用分隔符Token作为隐式推理的自然压缩锚点

Sep-Latent: Separator Tokens as Natural Compression Anchors for Implicit Reasoning

AI 导读

Sep-Latent 提出了一种利用分隔符 Token 作为结构语义锚点的自适应隐式推理框架,在 GSM8k-Aug 基准测试中达到 56.8% 准确率,平均仅消耗 5.4 个 Token。 该框架引入 Attention-Decay 机制强制模型聚合压缩推理逻辑,并通过多层级蒸馏对齐显式与隐式路径。 实验分析证实该方法确保了语义基础,并表现出优于固定长度隐式模型的抗扰动鲁棒性。

来源:arXiv · NLP · arxiv.org