跳到正文
10月8日周四
  1. arXiv · NLP38

    长上下文混合模型机制(一):混合注意力到混合位置

    混合 LLM 架构通过结合不同注意力模块提升长上下文效率与长度外推性能。 研究发现滑动窗口注意力(SWA)混合体在长度外推中表现更好,而线性注意力(LA)混合体在长上下文持续预训练中受益更多。 提出的滑动窗口线性注意力实现 16 倍免训练长度外推,并保持 NIAH-SK1 64k 上下文 100% 准确率。

  2. arXiv · NLP22

    Shaer 受控阿拉伯古典诗歌生成框架:基于格律子形式与语义条件

    Shaer 是一款受控阿拉伯古典诗歌生成框架,结合自然语言描述、格律子形式与目标半诗节数量实现联合控制。 该框架基于 Yehia-7B 进行 QLoRA 监督微调,在 116,032 首诗构建的语料上实现 95.17% 基础格律准确率和 91.75% 格律子形式准确率。 相关代码、模型和数据集已公开,评估显示其生成内容无训练语料副本,具备竞争性语义与文学质量。

  3. arXiv · NLP35

    SAPD:无 Rollout 自蒸馏实现高效离策略后训练

    提出无 Rollout 自蒸馏方法 SAPD,通过步骤对齐的特权蒸馏生成监督信号,在数学推理基准上平均超越 SFT 和标签平滑。 该方法将演示转化为步骤对齐的分布监督,相比离策略基线实现约 2 倍训练循环加速,且大幅保留代码领域的泛化性能。 验证了精心构建的监督可让完全离策略后训练成为具有竞争力且计算高效的替代方案。

  4. arXiv · AI23

    Stackelberg Alignment:基于博弈论的多 LLM 协作对齐框架

    提出 Stackelberg Alignment 框架,将指令选择转化为自适应课程以优化多 LLM 协作学习。 框架采用 EXP3 bandit 作为领导者分配采样预算,LLM 群体作为跟随者通过 DPO 或 GRPO 基于 Elo 式声誉加权互评学习。 在 12 个基准测试中,该方法在宏观平均指标上超越最强训练时基线最高 7.4%,超越最佳静态推理基线 12-25%。

  5. arXiv · AI21

    Train4Merge:RL 或 SFT 哪种算法能产出更优质的 OPD 模型合并教师

    研究发现,基于 RL 训练的 Qwen3.5-9B 教师模型在 Agentic 等三域中经 OPD 蒸馏出的学生模型性能优于 SFT 教师,最高领先 4.27 分。 RL 教师在 Agentic 域仅偏移 44.44% 参数位移,而最优 RL 学生恢复了 115.00% 的教师增益并超越教师。 较小参数位移更利于 OPD 学习,支持 RL 教师更适合模型合并的假设。

  6. arXiv · AI35

    SKT:通过验证合成数据生成实现大规模技能使用训练

    SKT 利用 2,000 个公开技能生成了 4,000 个任务包和 27,164 个验证轨迹,用于提升语言模型智能体的技能使用能力。 该管道通过规则与智能体结合的验证机制筛选高质轨迹,并基于独立测试集构建了 SkillEval 基准。 实验表明,基于 SKT 轨迹的监督微调能一致提升模型的技能使用表现。

  7. arXiv · AI40

    解耦强化学习中探索与优化的 ExpDis 框架

    为解决 RLVR 中强新颖性激励导致模型质量下降的问题,该研究提出 Exploration-Distillation(ExpDis)框架。 该框架通过“探索-蒸馏”交替训练解耦探索与优化,在 7 个数学推理基准和 2 个模型族上,ExpDis 在相同墙钟时间预算下优于 DAPO。 其 pass@k 性能提升表明,该模型能生成更多样化的正确解题路径。

  8. arXiv · AI32

    CoNN-AL 框架实现汽车玻璃跑道通道的数据高效部分逆向设计

    提出 CoNN-AL 框架,将基于流的主动学习结合至协同去噪自编码器,针对部分逆向设计问题优化标签使用效率。 在包含 90 万设计的汽车玻璃数据集上,仅用 2 万标签即达到 0.967-0.982 的 R-squared,比随机采样节省 30-40% 标签。 该研究同时公开了数据集,以支持未来数据驱动设计的研究。

  9. arXiv · AI26

    大语言模型灾难性遗忘定位在输出嵌入层,单行优化器调整可大幅缓解

    研究发现 LLM 持续训练中的灾难性遗忘集中于新语料中罕见 token 的输出嵌入层。 通过提高 Adam 优化器输出投影层的 epsilon,在 160M 至 12B 参数模型中消除了 39.4% 到 67.9% 的遗忘。 该干预可与 replay 结合使用,无需逐模型调参即可保护目标学习,且必须在训练期间实施。

  10. arXiv · AI45

    CRD框架通过协作推理蒸馏提升紧凑型模型能力

    提出协作推理蒸馏(CRD)框架,通过教师间交互互评、细粒度步骤质量评估及连贯性感知拼接,增强小模型推理能力。 CRD-4B模型在MATH-500获97.3%、AIME'25获70.3%,仅用5万训练样本,数据集规模比同类模型小12倍。 该研究已被NeurIPS 2026接收,解决了标准蒸馏依赖结果奖励无法区分有效推理与侥幸猜测的问题。

  11. arXiv · AI32

    SLBF 实现无数据 Mixture-of-Experts 模型共享低秩基压缩

    SLBF 提出一种无数据的 MoE 权重重构方法,通过专家共享的低秩基实现更丰富的跨专家共享,并在 5 个 16B 至 122B 参数的 MoE 架构上一致优于专家剪枝、合并及重建方法。 方法利用秩-k 基共享降低重构误差,事后规范修正在不损失表达能力的前提下消除冗余参数,论文已被 Findings of EMNLP 2026 接收。

  12. arXiv · AI36

    GraphOPD: 面向 LLM 智能体的图增强在策略蒸馏方法

    提出 GraphOPD 方法,首次将图结构增强引入 LLM 智能体的在策略蒸馏,通过依赖图随机游走评分替代单纯基于师生分歧度分配监督信号。 该方法利用环境状态变更记录构建步骤依赖关系,在 ALFWorld、WebShop 和 SearchQA 基准上对比 11 个基线,最优提升达 +5.8 pp,且跨领域工具推理有效。

  13. arXiv · AI27

    基于认知不确定性感知策略的医疗器械制造缺陷检测研究

    研究人员提出一种基于认知不确定性的拒判策略,以提升医疗器械制造中自动化缺陷检测的可靠性。该方法结合知识图谱处理异构数据,并设定阈值对高不确定性预测进行拒绝。 在266,170份真实FDA MAUDE报告数据中,10%的拒判率使分类错误降低48%;在合成基准测试中,9%的拒判率将风险最高降低63%。

  14. arXiv · AI23

    D3S2:面向语义分割的扩散引导数据集蒸馏框架

    针对语义分割数据集蒸馏中的长尾类别不平衡与像素级对齐难题,D3S2 提出了一种两阶段扩散引导框架。 该框架结合类别平衡掩码选择与扩散图像合成,在 1% 压缩率下,于 ADE20K 和 COCO-Stuff 数据集使用 Mask2Former (Swin-S) 分别取得 24.99% 和 35.49% 的 mIoU。 实验结果表明 D3S2 显著优于随机选择基线,代码已公开。

  15. arXiv · AI45

    X平台推荐系统意外对用户意识形态进行画像

    研究显示X平台推荐系统通过优化相关性,意外构建并使用了反映用户左右政治立场的嵌入向量。 研究基于250万次“关注谁”推荐记录,为682名志愿者画像并重建了覆盖26,509个账号的嵌入近似。 分析发现该嵌入中存在与政治意识形态相关的方向(皮尔逊rho值0.887),且移除该维度后推荐结果更多样化,但准确度有所降低。

  16. arXiv · AI42

    JudgeProfile:解析并引导 LLM 评委在感知与优先级中的主观性

    JudgeProfile 框架将 LLM 评估拆解为感知和优先级两个维度,通过重新加权将参考标签的平均留出集一致性从 66.48% 提升至 71.97%。 该框架在包含 50,013 个响应对的数据集上评测 21 个 LLM 评委,结果显示其性能优于微调及评分标准提示,证实引导主观性需同时关注感知内容与优先级策略。

  17. arXiv · AI34

    EigenDEXplore:利用人类先验结构探索以实现灵巧操作

    论文提出 EigenDEXplore,通过在独立关节空间噪声上叠加人类导生的特征向量扰动来诱导相关性探索,保持动作空间不变。 该方法在多种灵巧手上表现优于关节空间和习得动作空间基线,在抓取、手内重定向及接触丰富操作中有效。 增益跨越非结构化与参考引导强化学习、轨迹优化及仿真到实机部署,且奖励塑形和课程设计要求少时提升最大。