arXiv · NLP· Ryan Solgi, Jiayi Tian, Zheng Zhang·· 2026-10-09AI 评分23
LoRi:用于隐式推理的低秩蒸馏
LoRi: Low-Rank Distillation for Implicit Reasoning
AI 导读
研究者提出 LoRi 低秩蒸馏框架,在 LLaMA 和 Qwen 模型族上显著提升数学推理性能,接近显式 CoT 准确率并优于既往隐式方法。 方法基于隐藏状态推理轨迹的低秩结构,利用一阶和二阶统计量对齐师生轨迹于共享低秩张量子空间,适用于多步骤困难任务。
来源:arXiv · NLP · arxiv.org