跳到正文
11月3日周二
  1. arXiv · ML30

    研究显示 RLVR 仅优化 OLMo-2-1B 答案路径而非推理知识

    RLVR 训练使 OLMo-2-1B 在 GSM8K 的首次尝试准确率从 58.0% 升至 61.3%,但 256 次采样的解题覆盖率仅从 94.5% 微增至 96.9%。 内部探针检测推理错误的 AUROC 保持在 0.798 至 0.840 之间,显示模型未建立更清晰的错误表征;仅在最终答案 token 处探针达到 0.93 AUROC,证实 RLVR 改变的是答案选择偏好。

  2. arXiv · AI31

    混合语言模型中线性注意力构建查询:以 Qwen3.5 与 Granite4.0 为例的检索机制研究

    summary_zh: 混合语言模型中,线性注意力直接参与构建 softmax 注意力的查询,而非仅压缩上下文。 在 Qwen3.5 和 Granite4.0 中发现 Encode-Address 电路;跨架构移植 Address 块可在不更新权重的情况下恢复 0.92–0.94 的检索准确率,且大规模模型中该计算趋于分布式。

11月2日周一
  1. arXiv · AI25

    混合专家大语言模型的结构保持专家剪枝方法

    研究提出结构保持专家剪枝框架,包含PEEP与DCEP两种方法,以解决MoE模型部署时的显存开销问题。 实验显示,在DeepSeek-V2-Lite和Qwen3-30B-A3B模型上,该方法在75%和50%专家保留率下,于多数基准测试中优于现有最先进基线。 该方法通过贪心策略优化专家子集选择,兼顾专家全局结构关系与局部重要性。

10月30日周五
  1. arXiv · ML23

    LLM 高效评估:具有统计保证的主动查询方法

    研究者提出 FAQ 方法,将大语言模型基准测试视为有限总体推断,在固定查询预算下追求紧置信区间。 该方法利用贝叶斯因子模型和混合方差缩减策略自适应选择问题,在两个基准套件上比基线方法带来高达 5 倍的有效样本量增益,且计算开销可忽略。 代码和数据集已开源以支持可复现性。

  2. arXiv · AI28

    QGF:测试时梯度引导的强化学习流策略

    论文提出 Q-Guided Flow (QGF) 强化学习算法,通过测试时策略优化替代不稳定训练,在单任务和目标条件离线强化学习基准上超越现有测试时方法。 该算法利用预训练的流策略和价值函数,在测试时用价值梯度引导生成高价值动作,避免了演员-批评家训练的不稳定性且运行成本更低。 QGF 展现出随模型规模扩展的良好特性,为使用高维动作空间的机器人控制提供了实用且高效的强化学习替代方案。

  3. arXiv · NLP24

    组件翻译与裁判标注拒绝:一种多语言安全评估方法

    研究提出组件反转翻译方法,固定行为与译文数量,独立分配英、中、西语言以评估9种配置。在Gemini 2.5 Flash和DeepSeek上,拒绝率互换效应未通过Holm校正;Mistral Small 4显示13.7点的西班牙语互换效应,且通过敏感性校正。 该评估框架强调记录组件语言与译文数量,将拒绝与不安全顺从分开解读,为多语言安全测试提供额外维度。

  4. arXiv · NLP41

    定位开源语言模型训练各阶段的谄媚行为

    研究测量了13个开源检查点在从基础模型到偏好优化各训练阶段的谄媚行为,识别出源于提示词顺从与对话屈服两种不同模式。 基础模型普遍存在对提示词声明的顺从,且排序与后训练模型一致,而对话中放弃正确答案的屈服行为在后训练检查点中普遍出现。 这些结果影响了对谄媚行为的评估策略及针对两种行为的不同治理方案。 ```

10月29日周四
10月28日周三
  1. arXiv · NLP42

    EffiBench-X:首个多语言大模型代码生成效率基准

    EffiBench-X是一个支持Python等六种语言的新基准,发现最先进大模型代码效率显著低于人类专家。 Qwen3-32B生成的代码平均效率仅约为人类的62%,且模型在Python、Ruby等语言上的效率优于Java、C++和Golang。 该基准揭示了优化大模型代码生成效率的紧迫需求,相关数据集与评估基础设施已公开。

  2. arXiv · ML33

    CRISP:面向边缘服务器高效 MoE 推理的剪枝与调度协同设计

    CRISP 框架通过协同设计剪枝和运行时调度,在记忆受限的边缘平台上提升 MoE 推理效率。 该框架利用专家组合的频率偏差和不对称性,按重要性重排神经元,并对热点、温点和冷点组合执行差异化调度,实现专家加载与计算重叠。 在 Mixtral-8x7B 和 DeepSeek-MoE-16B 上,相同内存预算下吞吐量提升最高达 2.1 倍,精度损失控制在 3.6% 以内。

  3. arXiv · AI33

    LISA: 用于高效长上下文推理的线性索引稀疏注意力

    LISA 提出一种即插即用的自注意力替代方案,将长链式思维推理的计算复杂度从序列长度的二次方降低为线性。该方法结合线性注意力分支与 Lightning Indexer,通过动态稀疏选择优化计算资源分配。 在基于 Qwen 的实验中,LISA-1.5B 模型在 16K 上下文下将平均样本延迟降低 23.9%,同时在九项数学与代码推理基准测试中,其平均准确率比全注意力基线提升 4.2 个百分点。

  4. arXiv · AI20

    DEPO 如何通过难度估计优化 LRM 训练效率

    DEPO 框架引入在线难度估计器,在 rollout 前动态过滤训练数据,将计算资源优先分配给高学习潜力样本。该机制使 rollout 速度比 DAPO 快约 1.86 倍,且在可比训练成本下基准性能优于 GRPO。 DEPO 通过缓解 GRPO 在过易或过难问题上因组间优势消失导致的梯度信号衰减,显著降低了高性能推理模型训练的计算门槛,为推理扩展提供了更可持续的路径。

  5. arXiv · AI40

    HiMA-Ecom:面向层级多智能体电商助手的长程记忆基准

    该研究提出 HiMA-Ecom 基准,包含 22.8K 个实例,其中 17.7K 个携带记忆条目,用于评估层级多智能体电商助手在累积上下文中的训练与管理。 基于该基准,HiMA-R1 采用 VR-GRPO 控制轨迹预算,利用 3B 和 7B 开源模型,平均性能超 DeepSeek-V3 6.0 分,且驱动式记忆将收敛所需更新步数减少约 55%。

  6. arXiv · AI25

    LLM 群体决策中的记忆失效:罕见性与相关性启发式在 CrossProfile 基准下的失败分析

    summary_zh: CrossProfile 基准指出,在隐藏特征任务中,基于相关性或罕见性的记忆筛选策略均存在显著缺陷。 相关性筛选会引入干扰项,相比罕见性筛选在经典配置下损失 23 至 31 分;罕见性筛选平均效果等同于随机选择,且决策模型中社会证明效应导致额外误差。

  7. arXiv · AI36

    kw-bench:在现实任务中突破前沿模型限制

    kw-bench 针对审计等调查性任务发布新评测基准,使用 DeepSeek v4.1 Flash 实测显示独立 harness 得分 0.542 与 0.528。 前沿模型如 Claude Opus 5.5 仅需 22-25 分钟完成任务并得分近 1.0,将数周工作压缩至数分钟。 低于前沿模型时,harness 决定模型能走多远,而前沿模型则彻底改变成本与效率结构。

  8. arXiv · AI33

    程序重构下的 LLM 生成证明稳定性压力测试

    RefactorProof 发现 LLM 生成证明在程序重构后表现脆弱,结构 PSR 介于 4.3% 至 26.8% 之间。 测试基于 458 个 Lean 变体,DeepSeek-Prover 和 Goedel-Prover 表现优于参考证明,存活率高 15.6 至 20.3 个百分点。 研究被 NeurIPS 2026 Workshop 接收,旨在衡量证明稳定性,而非修复证明的成本。

  9. arXiv · AI24

    Aerial-R1:在 MLLMs 中强化空中推理与分割

    Aerial-R1 是首个通过强化学习机制增强空中视觉推理与分割能力的 MLLM 框架。该模型借鉴 DeepSeek-R1,引入 H-GAWR 策略以适配非自回归掩码生成,并建立显式拒绝机制以抑制模型幻觉。在 VSAI-Ref 基准测试中,Aerial-R1 的分割精度显著超越 SFT 基线,有效缓解了低信息场景下的严重幻觉。