跳到正文
11月3日周二
  1. arXiv · NLP25

    ConstraintMatch:通过受限区域证据选择实现组合图像-文本匹配

    提出无训练推理方法 ConstraintMatch,将实体级区域一致性转化为匹配成本,提升组合图像-文本匹配准确率。 在 Qwen 2B 和 CORE 2B 骨干模型上,该方法比全局匹配分别提升 7.70 和 5.63 个百分比点,优于 SGI 基准。 确立了实体级证据选择作为组合多模态检索的实用评分原则。

  2. arXiv · NLP31

    DepthGraft: 通过层级跨层 KV 重建实现结构正则化

    DepthGraft 提出层级 KV 共享架构,在 0.5B 至 16B 参数模型上验证性能提升并降低 KV 缓存用量约三分之一。 该架构通过步长对齐的浅层-中层源对重建深层 KV,在 16B MoE 模型上取得 MMLU-Pro 绝对提升 7.0%、CMMLU 提升 6.6%、C3 提升 6.4% 的成绩。 实验结果验证了 DepthGraft 作为大规模预训练可扩展设计的有效性。

  3. arXiv · NLP31

    MicroMouse:通过相对势在长 CoT 中屏蔽有害监督

    MicroMouse 是一种自动选择性 SFT 框架,通过相对势(REP)对比金标答案与干扰项,识别长 CoT 中的有害监督并进行屏蔽。 该方法在多个推理基准上平均相对提升贪心准确率 5.5%、Pass@1 提升 2.6%,输出长度减少 8.8%。 有害监督识别平均耗时仅 1.7 秒,提高了推理效率。

  4. arXiv · NLP50

    基于 J-space 检测多智能体系统的共谋行为

    研究证实共谋智能体的 J-space 包含共谋信息,在 NARCBench 基准中 86% 的共谋者表现出误导性表征。 提出的 J-PACT 方法在 GPT-OSS-20B、Llama-3.3-70B-IT、Qwen3-32B 及 DeepSeek-V4-Flash 上保留 85% 的 AUROC,并识别 99% 的共谋对。 该无监督方法为监测多智能体系统中的隐蔽协调提供了新工具。

  5. arXiv · NLP20

    TAC-CoT:通过交错显式 Token 实现工具赋能的隐式链式推理

    TAC-CoT 是一种工具赋能的自适应隐式 CoT 框架,用紧凑的潜在推理片段替代显式推理轨迹,仅保留用于工具调用、观察和最终答案的文本 Token。 在智能体数学和 QA 基准测试中,该框架将准确率提高至多 8.8 个点,同时将模型前向传播次数减少至多 6.8 倍。 分析显示 TAC-CoT 提升了单工具和多工具设置下的工具使用质量。

  6. arXiv · NLP27

    XDecideBench: 跨语言类型化决策模型与置信度策略评测基准

    XDecideBench 发布涵盖 122 种语言、88,425 条文本的跨语言类型化决策模型评测基准。 三个开源微调模型在 12 种开发语言中全面超越基座 Qwen 模型,且在低资源语言中准确性增益更大。 结果显示英语最佳模型在约 1/4 组合中落后,且基于英语设定的 5% 置信度阈值在其他语言中失效。

  7. arXiv · NLP29

    重新思考大语言模型剪枝:测试时缩放分析

    研究表明,即使经过大量剪枝,部分大语言模型在匹配采样预算下的 pass@k 推理覆盖率仍能达到或超过原始模型,尽管其 pass@1 有所降低。 在严重剪枝下,生成多样化的思维链(CoT)轨迹的同时,重复率增加且生成可靠性下降,导致正确解法更难采样,总 token 使用量可能大幅上升。 该发现强调评估剪枝效果需同时考量模型可解决问题的范围及获取正确解法的采样成本。

  8. arXiv · NLP28

    结构化工作流规划中的测试时推理审计:从表面搜索增益到选择失败

    研究通过分解推理阶段发现,独立采样可复现树搜索的候选发现能力,且结构验证从未剔除最后一条正确工作流。主要失效源于多数投票机制,导致10%-19%的任务中已发现的正确工作流未被选中。结果强调应审计实际而非名义推理管道,并分开报告发现、有效性与选择。

  9. arXiv · ML23

    Schrödinger-Föllmer Actor-Critic:基于扩散策略改进与有限样本分析

    提出Schrödinger-Föllmer Actor-Critic (SFAC)离线到在线强化学习方法,通过条件扩散实现KL正则化策略改进。 利用最小极大Bellman评论家估计动作价值,并通过Doob h变换将更新表示为参考扩散漂移的修正。 在六个连续控制任务中,经过500K次在线交互后,其最终检查点回报高于行为克隆初始化。

  10. arXiv · ML20

    Transformers 在几何复杂度增长下的非参数上下文学习:极小极大最优性与局部几何适应性

    研究建立了未知异质几何下 Transformer 非参数上下文学习的极小极大下界,并构造了匹配上界的 Oracle 切线局部多项式估计器。 该估计器对应于带几何预条件器的两阶段 softmax Transformer,具备对数深度和多项式规模,实现可忽略的近似误差。 相关结果确定了预测器利用局部几何并达到极小极大速率的条件,论文已被 NeurIPS 2026 接收。

  11. arXiv · ML34

    Consilience: 面向无验证器测试时扩展的置信度评估框架

    现有基于置信度的无验证器测试时扩展(VF-TTS)方法在复杂任务上会崩溃,因其倾向于选择“高置信度但错误”的解。该研究提出 Consilience 框架,通过组合指标主动惩罚高初始置信度并强制要求最终确定性。 在研究生级别数学问题和自由形式代码生成实验表明,Consilience 有效优于现有基线方法,验证了其对完成置信度的新颖视角。

  12. arXiv · ML26

    高斯过程几乎任意条件化的通用推理机制

    论文建立高斯过程(GPs)与线性扩散模型的显式等价性,将预测采样重构为 ODE,并首次实现基于 LLM 自然语言的条件化。 该机制通过蒙特卡洛近似处理非线性物理等任意点似然评估场景,利用去白化处理不可约非高斯动态,无需专门推导即可生成通用 GP 推理方案。 研究为将现实世界知识作为条件信息纳入概率建模开辟了新前沿。

  13. arXiv · ML20

    LLM 重复改写如何使 AI 生成文本在统计上逼近人类分布

    研究证明在满足混合与稳定性条件下,通过重复改写可使机器生成分布收敛至人类目标分布。 论文推导了显式收敛速率,分析了语义保留与质量约束对速率的影响,并扩展至有限样本以表征所需人类数据与改写轮次的缩放关系。 该工作通过学习人类保留重写核,将分析扩展至非共享参数设定。

  14. arXiv · ML21

    FuRA:基于谱预条件的全秩参数高效微调

    FuRA 通过全秩 SVD 谱预条件实现高效微调,在同等可训练参数下优于全量微调。 方法采用块张量训练分解,固定预训练 SVD 基以约束更新,在 LLaMA-3-8B 常识推理任务中提升 1.37 分,量化变体 QFuRA 也超越 QLoRA。 代码已开源,适用于大语言模型微调、数学推理强化学习及视觉指令微调。

  15. arXiv · ML20

    Transformer 上下文流映射中的混沌传播理论

    研究人员建立了 Transformer 在大上下文领域的定量统计理论,提出上下文流映射(CFMs)框架。 该理论证明有限上下文模型近似理想无限上下文系统,偏差界达到 Wasserstein 速率 n^{-1/d} 及参数速率 n^{-1/2}。 分析依赖新的欧拉日共轭损失梯度公式,为前向-共轭系统提供稳定性估计。

  16. arXiv · ML35

    DualKV:共享提示 Flash Attention 实现高效长上下文 RL 训练

    DualKV 提出首个消除共享提示复用的 FlashAttention 内核变体,实现与标准注意力数学等价。 在 Qwen3-8B 上支持 8K 上下文和 32 次 rollouts,策略更新提速 1.63-2.09 倍,MFU 从 36% 提升至 76%。 该方案扩展至 30B MoE 模型和 64K 长上下文 Gemma-4-31B,有效解决大 rollout 长上下文训练瓶颈。

  17. arXiv · ML28

    Online Bayesian Calibration under Gradual and Abrupt System Changes

    提出在线贝叶斯校准框架 BRPC,通过两阶段滤波解决参数与偏差混淆,并引入重启机制应对突变系统。 理论分析提供了渐进演化下的跟踪误差界及误报检测行为证明,实证结果显示 BRPC 优于现有最先进方法。 该框架适用于数字孪生和计算机实验中具有流式数据、模拟器失配及非平稳性的场景。

  18. arXiv · ML23

    基于 PPG 健康评估的时序基础模型基准测试:通用型与专用型模型对比研究

    基于 PPG 的基准测试表明,PPG 专用时序基础模型整体表现最强,但优势并非普遍存在。 该研究对比了 MOMENT、Chronos-2、GPT-PPG 等 4 类模型,在 51 项任务中发现全模型微调会缩小专用模型优势,且最大模型变体仅在约 1/3 情况下最优。 研究显示 PPG 特定预训练具有任务依赖性,建议在评估时纳入传统 ML 基线作为对照。

  19. arXiv · ML20

    利用顺序不变强化学习解决黑盒组合优化

    研究人员提出一种顺序不变强化学习框架,用于解决黑盒组合优化问题,该方法通过随机采样生成顺序来训练模型。 框架适配了 Group Relative Policy Optimization (GRPO),实现了稳定的策略梯度更新,并在多种基准测试中频繁取得最佳性能。 该方法增强了搜索空间的多样性,避免了传统分布估计算法中学习显式依赖图的开销。

  20. arXiv · ML26

    二阶顺序机器遗忘中的误差累积研究

    在高维参数设置下,研究二阶顺序机器遗忘方法的误差累积。分析共轭梯度法作为逆 Hessian-向量积求解器的效率。 理论表明,最多 1/2/2/3 次 Newton-CG 更新即可满足四种认证标准并消除群体风险退化。数值实验显示,相比梯度更新,Newton 结合共轭梯度法在病态问题中计算收益显著。

  21. arXiv · ML28

    异常排序确认减缓新类别学习

    在物理、医学和计算机视觉的5个基准测试中,异常检测器标记成员作为分类器首先学习的对象。 在3种系统中,确认新类别中排名最高的成员比确认相同数量的随机成员具有更低的识别率。将后续选择交给提升的分类器在2种系统中可以恢复部分损失。

  22. arXiv · ML27

    VERS:通过编辑激活解释引导推理模型

    VERS 框架通过编辑自然语言自动编码器的解释来引导推理模型,在 GSM8K 测试集上减少 45.8% 的生成 token,准确率仅下降 0.82 个百分点。 该框架在 MATH-500 上节省 31.3% token,准确率下降 3.05 个百分点;在 Qwen3 235B-A22B 模型上可迁移并节省 30-35% token,但在竞赛题上准确率损失 3-7 个百分点。