跳到正文
11月10日周二
  1. arXiv · ML35

    拒绝行为的几何结构:事后安全训练的脆弱性与预训练期持久性的分析

    跨5个模型族的几何分析表明,RLHF和DPO等事后安全训练仅形成“薄而尖锐”的抑制门控,未消除潜在能力。 具体数据显示,在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct上,100个良性微调样本即可将AdvBench拒绝率降低35至38个百分点。 相比之下,预训练阶段的安全协同训练可使410M至6.9B模型的拒绝率维持在87%至98%区间。

  2. arXiv · AI28

    RoboWits:机器人创意问题解决的意外挑战基准

    RoboWits 发布了一款评估机器人认知推理和创意工具使用的双臂基准,包含 30 个种子任务和 200 个变异任务。 该基准测试了微调 VLAs 和基于 GPT-6 Astra 的零样本策略,发现前者在变异任务上性能显著下降,后者虽优但仍损失约 1/5 成功率。 结果表明更强的基础模型无法完全弥补鲁棒性差距。

  3. arXiv · ML48

    TraceML:揭示长期机器学习开发中自动研究智能体的缺失环节

    TraceML 引入了一个包含 4,465 条人类 Kaggle 轨迹和 637 条智能体轨迹的配对数据集,旨在量化自动研究智能体与人类专家在竞赛中的差距来源。 分析显示,人类专家会在数据、验证和模型调整间灵活切换,而 Codex 和 MLEvolve 等智能体则陷入狭窄的循环,缺乏灵活变通。 该研究发布了 TraceML 语料库、标签模型及开源工具包,将指令优化局限于缩小可归因于指令的部分差距。

  4. arXiv · AI32

    NeurIPS 2026论文提出基于MLLM与VAE的条件扩散模型,优化主体驱动图像生成

    该研究针对现有方法在主体驱动生成中存在的跨模态推理局限及复制粘贴伪影问题,提出条件化扩散模型框架。模型联合编码文本与参考图像,并引入VAE身份条件及双层聚合模块,通过多阶段去噪平衡语义与细节。 实验显示该方法在人工偏好上取得优越性能,有效协调多模态理解与身份保持。

  5. arXiv · AI23

    OASIS: 基于SE(3)轨迹预测的观测-动作空间对齐机器人操作

    OASIS提出了一种通过SE(3)末端执行器轨迹预测对齐观测与动作空间的视动策略。 该策略结合融合视觉语言与度量深度特征的3D感知特征编码器,以及生成相机坐标系末端执行器轨迹的SE(3)轨迹预测器,使动作解码器生成符合刚体运动的动作块。 在仿真和真实世界实验中,OASIS在成功率和分布外泛化方面优于VLA和WAM基线模型,并被NeurIPS 2026接收为Spotlight论文。

  6. arXiv · AI21

    神经符号视角下的弱监督分割:基于可微模糊逻辑的SAM微调方法

    该研究提出一种神经符号方法,将弱标注与领域先验统一为连续逻辑约束,用于在弱监督下微调Segment Anything Model(SAM)。 微调后的SAM生成更高质量的伪标签,并训练第二阶段的无提示分割模型。实验在Pascal VOC 2012和REFUGE2数据集上显示,该方法达到SOTA性能,常超过密集监督基线。 论文已被WACV2027接收。

  7. arXiv · ML28

    推理的几何特征:从频谱视角看任务难度

    研究发现 Transformer 模型思维链(CoT)轨迹的有效维度 d_rho 能预测任务难度,在 Qwen2.5 模型上的 AUROC 达到 0.96。 研究在 MATH500 数据集的 86 道题上验证了 Qwen2.5 0.5B 至 7B 三个规模,七类运动学特征在生成 20% token 时即可预测正确性,AUROC 介于 0.77 到 0.88。

  8. arXiv · ML30

    Seahorse:时空事件建模统一评测框架

    Seahorse 发布统一评测框架,标准化时空点过程(STPP)模型训练与评估,解决现有对比中预处理及似然约定不一致导致的脆弱性问题。 框架提供编码-演化-解码接口,在 13 个真实数据集和 19 个预设中测试,结果显示无单一模型在所有指标上占优。 该论文已被 NeurIPS 2026 评估与数据集轨道接收,代码已开源,为比较和诊断 STPP 模型提供了可复用基础设施。

  9. arXiv · ML25

    USAD: 不确定性感知统计对抗检测

    提出USAD方法,通过两个新统计量改进统计对抗检测,显著提升对多种对抗攻击的检测性能。 现有基于MMD的方法无法充分捕获对抗例(AE)的特征不确定性,USAD引入方差差异(VD)衡量全局特征分散度差异,并引入基于扰动的协方差差异(PCD)衡量局部扰动稳定性差异。 聚合VD与PCD使USAD在多种对抗攻击下优于基线方法,验证了关注AE特征行为对有效检测的重要性。

  10. arXiv · ML28

    SOAP-Bubbles:用于神经网络的结构化权重不确定性方法

    研究者提出 Eigenspace-VON (EVON) 优化器,将 IVON 方法在 SOAP 预条件子的特征空间中运行,生成名为 SOAP-Bubbles 的后验分布。 该新方法计算成本与 SOAP 相当,无需大幅修改训练流程,在语言模型预训练中显著优于现有对角协方差方法。 EVON 在逻辑回归中匹配全高斯协方差性能,使大规模深度学习更容易获得更具表达力的后验分布。

  11. arXiv · ML31

    HEAL:实现 LLM 推理可重现的混合误差缓解方法

    针对 LLM 在关键任务中因 16-bit 精度导致的多 GPU 输出分歧,研究提出 HEAL 方法。 HEAL 结合 INT16 量化与 16-bit Tensor Core 的高精度矩阵乘法,在保持 FP32 基线可重现性的同时,将性能开销降低高达 6.0 倍。 该方法解决了全局 FP32 流水线的高内存与计算代价,为金融、医疗等领域的 LLM 部署提供了解决方案。

  12. arXiv · AI23

    简单图启发式揭示序列推荐基准的捷径可解性

    一种无需序列编码器或训练的简单图启发式,在 Amazon Review 数据集上的 NDCG@10 较最佳基线提升 38.10% 和 44.18%。 该启发式仅基于近期交互项检索并排序,证明基准易受低分支局部转换、特征平滑及短用户历史依赖等捷径影响。 研究显示,14 个数据集中该启发式在 10 个上保持竞争力,提示标准基准的高性能未必反映高级建模能力。

  13. arXiv · AI26

    AV-Phys Bench 揭示联合音视频生成模型缺乏物理理解能力

    AV-Phys Bench 基准测试显示,尽管 Seedance 2.0 表现最佳,但所有模型均未具备鲁棒的物理理解能力。 该基准涵盖稳态、事件过渡及环境过渡三类场景,模型在事件驱动过渡及反物理提示下性能显著下降。 跨模态物理一致性与过渡场景动力学是联合音视频生成领域当前的主要未解难题。

  14. arXiv · ML28

    Guided-OPD:面向多轮智能体的课程引导式在线策略蒸馏算法

    研究者提出 Guided-OPD 算法,通过混合师生生成的轮次并实施衰减的课程引导,解决小模型误差累积导致轨迹偏离教师分布的问题。 在 ALFWorld 等基准上,使用 Qwen3-30B-A3B 教师模型蒸馏 Qwen3 学生模型,其平均分比标准 OPD 提升 21.1%,成功率提升 25.5%。 该算法在较小规模学生模型上带来更大收益,有效降低了多轮智能体任务对大型模型推理成本的依赖。

  15. arXiv · AI21

    面向多集体算法集体行动的统计框架:NeurIPS 2026 论文

    提出首个面向多集体算法集体行动(ACA)的统计框架,研究多集体如何影响分类器行为,并提供可计算的定量统计界限。 框架允许各集体在仅拥有其他集体部分信息的情况下计算行动成功界限,并通过受智慧城市气候适应干预启发的数值模拟验证其效用。 该工作弥补了现有 ACA 文献主要关注单一集体设置的不足,为去中心化、碎片化的多集体协同提供了方法论支持。

  16. arXiv · AI27

    Transformer 架构如何证明可实现上下文强化学习策略改进

    线性自注意力 Transformer 块可显式构造实现 semi-gradient SARSA 等策略改进方法,并提供 ICRL 领域首个收敛保证。 该收敛保证指出,在丰富训练 MDP 分布下,梯度流动局部且指数级收敛至最优参数流形。 经验证,在随机 MDP 上训练的模型能恢复参数结构并在新 MDP 上展现强控制性能。

  17. arXiv · ML30

    Attention as In-Context Empirical Bayes: A Two-Stage View via Particle Dynamics

    研究揭示最小注意力Transformer在全token损坏下可解释为两阶段经验贝叶斯过程,单次注意力步骤计算基于上下文经验分布的核加权后验均值。 深度通过粒子动力学细化分布,长程跳连将噪声输入作为查询用于后验推理,区分了深度与注意力残差的统计角色;无需显式噪声调度,固定核带宽与有限积分视界即可实现有效去噪。

  18. arXiv · ML25

    AIMS-Fold:利用结构蛋白质组学指导共折叠模型预测蛋白质复合体

    研究者推出推理时引导层 AIMS-Fold,基于 Boltz-2 且无需重训,支持接受排斥约束。在 28 个 Boltz-2 预测失败的复杂体中,仅用 5 个生成模型即可在 64% 案例中恢复正确构象。跨 100 个模型和 20 个种子测试中,无引导的 Boltz-2 准确率为 14%,AIMS-Fold 达到 86%。这表明利用正负结构信号可显著提升理性降解剂设计效率。

  19. arXiv · ML23

    GORMPO:一种生成式 OOD 正则化模型基策略优化算法

    论文提出 GORMPO,一种利用生成式密度建模将策略更新限制在高密度区域的离线强化学习算法,已被 NeurIPS 2026 接收。 该算法旨在通过密度估计避免稀疏状态-动作空间中的分布外(OOD)动作,并提供了关于密度估计误差与性能差距的理论保证。 实证结果显示 GORMPO 在真实医疗数据集上优于最先进临床 RL 模型,且在离线 RL 基准测试中表现优于最先进离线 RL 模型。

  20. arXiv · ML30

    MARICL:基于 LLM 引导的表格数据机制推断方法

    研究提出多智能体残差上下文学习(MARICL)框架,利用 LLM 智能体分析高残差示例并编写可执行修正项,以修复基础模型在表格数据上的结构化残差。在涵盖科学、生物医学等领域的 9 个基准测试中,MARICL 在全部数据集上提升了基础模型性能,在 8 个真实数据集中的 5 个上超越最强基线。该方法提供了黑盒基线无法提供的可检视修正项,并在未见过的合成数据中恢复了隐藏结构,相关代码已公开。

  21. arXiv · AI28

    基于潜变量集成随机共振的测试时对抗攻击防御方法

    提出一种利用潜变量集成的随机共振机制进行对抗攻击的测试时防御方法。该方法通过添加平移扰动并聚合对齐的特征嵌入,无需额外网络模块或微调,适用于现有架构。 在图像分类、立体匹配和光流等密集预测任务中,该方法恢复了分别高达 68.1%、71.9% 和 29.2% 的准确率损失,首次建立了通用的测试时防御框架。

  22. arXiv · ML28

    基于自诱导玻尔兹曼权重的高斯过程回归主动学习

    研究提出 AB-SID-iVAR 算法,用于解决未知函数在自身诱导的未知玻尔兹曼分布下的主动学习问题。该算法基于高斯过程,通过闭式近似贝叶斯目标分布避免计算配分函数,适用于离散和连续输入域。 同时分析了变分替代方案 TS-SID-iVAR,并证明在温和条件下终端预测误差有高概率消失。该方法在合成基准测试及真实世界的势能面建模和药物发现任务中,表现优于现有方法,代码已开源。