arXiv · NLP· Xiaocheng Luo, Kang Wang, Zaifu Zhan, Yuechi Zhou, Xiangyu Duan·· 6 小时前AI 评分33
RuPLaR：基于规则先验的 LLM 推理链高效潜在压缩框架
RuPLaR : Efficient Latent Compression of LLM Reasoning Chains with Rule-Based Priors From Multi-Step to One-Step
AI 导读
RuPLaR 提出 One-Model One-Step 潜在推理压缩框架，在 GSM8k-Aug 数据集上准确率较现有 latent CoT 方法提升 11.03%，同时保持最低 token 消耗。 该框架通过单阶段训练生成潜在推理 token，利用规则先验分布替代多步骤或多模型级联流程。 联合训练目标结合交叉熵、KL 散度和语义对齐约束，确保潜在分布与规则先验严格匹配。
来源：arXiv · NLP · arxiv.org