拒绝行为的几何结构:事后安全训练的脆弱性与预训练期持久性的分析
跨5个模型族的几何分析表明,RLHF和DPO等事后安全训练仅形成“薄而尖锐”的抑制门控,未消除潜在能力。 具体数据显示,在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct上,100个良性微调样本即可将AdvBench拒绝率降低35至38个百分点。 相比之下,预训练阶段的安全协同训练可使410M至6.9B模型的拒绝率维持在87%至98%区间。
跨5个模型族的几何分析表明,RLHF和DPO等事后安全训练仅形成“薄而尖锐”的抑制门控,未消除潜在能力。 具体数据显示,在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct上,100个良性微调样本即可将AdvBench拒绝率降低35至38个百分点。 相比之下,预训练阶段的安全协同训练可使410M至6.9B模型的拒绝率维持在87%至98%区间。
深层连续时间循环网络通过 Prospective Coding 补偿底层信号延迟,提出 Recursive Quadrature Filters (RQFs) 作为对角状态空间模型的特例。
RoboWits 发布了一款评估机器人认知推理和创意工具使用的双臂基准,包含 30 个种子任务和 200 个变异任务。 该基准测试了微调 VLAs 和基于 GPT-6 Astra 的零样本策略,发现前者在变异任务上性能显著下降,后者虽优但仍损失约 1/5 成功率。 结果表明更强的基础模型无法完全弥补鲁棒性差距。
TraceML 引入了一个包含 4,465 条人类 Kaggle 轨迹和 637 条智能体轨迹的配对数据集,旨在量化自动研究智能体与人类专家在竞赛中的差距来源。 分析显示,人类专家会在数据、验证和模型调整间灵活切换,而 Codex 和 MLEvolve 等智能体则陷入狭窄的循环,缺乏灵活变通。 该研究发布了 TraceML 语料库、标签模型及开源工具包,将指令优化局限于缩小可归因于指令的部分差距。
研究提出 Medical Structured Multimodal Memory (MSM-Mem) 框架,使医疗 AI 智能体通过积累临床经验实现推理能力的渐进式进化。
该研究针对现有方法在主体驱动生成中存在的跨模态推理局限及复制粘贴伪影问题,提出条件化扩散模型框架。模型联合编码文本与参考图像,并引入VAE身份条件及双层聚合模块,通过多阶段去噪平衡语义与细节。 实验显示该方法在人工偏好上取得优越性能,有效协调多模态理解与身份保持。
OASIS提出了一种通过SE(3)末端执行器轨迹预测对齐观测与动作空间的视动策略。 该策略结合融合视觉语言与度量深度特征的3D感知特征编码器,以及生成相机坐标系末端执行器轨迹的SE(3)轨迹预测器,使动作解码器生成符合刚体运动的动作块。 在仿真和真实世界实验中,OASIS在成功率和分布外泛化方面优于VLA和WAM基线模型,并被NeurIPS 2026接收为Spotlight论文。
研究者提出模型拼接框架 StitchVM,将冻结扩散模型前缀与预训练奖励模型后缀通过兼容特征接口连接,通过闭式特征拟合和轻量蒸馏使模型能直接从不干净潜变量估计价值函数,无需近似或额外去噪。
summary_zh: Spaghetti Architect 生成器将程序转换为五种语言的混乱代码,通过移除注释使四款测试模型的得分降低,且对最弱模型的影响约为最强模型的十倍。
Signed Rectified Flow (Signed RF) 将 Rectified Flow 推广至对数似然差异为正的符号测度,从而生成有效的分布并排斥负成分占主导的区域,将负信息与排除约束纳入生成建模框架。
该研究提出一种神经符号方法,将弱标注与领域先验统一为连续逻辑约束,用于在弱监督下微调Segment Anything Model(SAM)。 微调后的SAM生成更高质量的伪标签,并训练第二阶段的无提示分割模型。实验在Pascal VOC 2012和REFUGE2数据集上显示,该方法达到SOTA性能,常超过密集监督基线。 论文已被WACV2027接收。
针对动作空间随机噪声难以产生全局扰动的局限,提出Prompt Driven Exploration (PDE) 策略。该方法利用视觉语言模型分析轨迹视频并重写提示词,在机器人操作与推理任务中实现零奖励起始的强化学习策略训练。
研究发现 Transformer 模型思维链(CoT)轨迹的有效维度 d_rho 能预测任务难度,在 Qwen2.5 模型上的 AUROC 达到 0.96。 研究在 MATH500 数据集的 86 道题上验证了 Qwen2.5 0.5B 至 7B 三个规模,七类运动学特征在生成 20% token 时即可预测正确性,AUROC 介于 0.77 到 0.88。
Seahorse 发布统一评测框架,标准化时空点过程(STPP)模型训练与评估,解决现有对比中预处理及似然约定不一致导致的脆弱性问题。 框架提供编码-演化-解码接口,在 13 个真实数据集和 19 个预设中测试,结果显示无单一模型在所有指标上占优。 该论文已被 NeurIPS 2026 评估与数据集轨道接收,代码已开源,为比较和诊断 STPP 模型提供了可复用基础设施。
提出代数一致的潜在动作模型 ALAM,通过重建、组合与逆一致性约束,利用无动作视频为视觉-语言-动作模型提供结构监督。 下游学习中冻结预训练编码器,将其潜在转移序列作为辅助生成目标,与机器人动作在联合 flow-matching 目标下共同生成。
提出USAD方法,通过两个新统计量改进统计对抗检测,显著提升对多种对抗攻击的检测性能。 现有基于MMD的方法无法充分捕获对抗例(AE)的特征不确定性,USAD引入方差差异(VD)衡量全局特征分散度差异,并引入基于扰动的协方差差异(PCD)衡量局部扰动稳定性差异。 聚合VD与PCD使USAD在多种对抗攻击下优于基线方法,验证了关注AE特征行为对有效检测的重要性。
研究者提出 Eigenspace-VON (EVON) 优化器,将 IVON 方法在 SOAP 预条件子的特征空间中运行,生成名为 SOAP-Bubbles 的后验分布。 该新方法计算成本与 SOAP 相当,无需大幅修改训练流程,在语言模型预训练中显著优于现有对角协方差方法。 EVON 在逻辑回归中匹配全高斯协方差性能,使大规模深度学习更容易获得更具表达力的后验分布。
针对 LLM 在关键任务中因 16-bit 精度导致的多 GPU 输出分歧,研究提出 HEAL 方法。 HEAL 结合 INT16 量化与 16-bit Tensor Core 的高精度矩阵乘法,在保持 FP32 基线可重现性的同时,将性能开销降低高达 6.0 倍。 该方法解决了全局 FP32 流水线的高内存与计算代价,为金融、医疗等领域的 LLM 部署提供了解决方案。
一种无需序列编码器或训练的简单图启发式,在 Amazon Review 数据集上的 NDCG@10 较最佳基线提升 38.10% 和 44.18%。 该启发式仅基于近期交互项检索并排序,证明基准易受低分支局部转换、特征平滑及短用户历史依赖等捷径影响。 研究显示,14 个数据集中该启发式在 10 个上保持竞争力,提示标准基准的高性能未必反映高级建模能力。
CELEUS 框架利用 E-process 构建具有任何时刻有效性的置信区间,解决现有 LLM 评估方法在动态停止规则下覆盖率失效问题。实验显示,该方法比基线算法少用 54%-62% 的评估样本即可达到目标精度。该框架通过无偏信号证明支持统计上稳健的评估实践。
AV-Phys Bench 基准测试显示,尽管 Seedance 2.0 表现最佳,但所有模型均未具备鲁棒的物理理解能力。 该基准涵盖稳态、事件过渡及环境过渡三类场景,模型在事件驱动过渡及反物理提示下性能显著下降。 跨模态物理一致性与过渡场景动力学是联合音视频生成领域当前的主要未解难题。
研究者提出 Guided-OPD 算法,通过混合师生生成的轮次并实施衰减的课程引导,解决小模型误差累积导致轨迹偏离教师分布的问题。 在 ALFWorld 等基准上,使用 Qwen3-30B-A3B 教师模型蒸馏 Qwen3 学生模型,其平均分比标准 OPD 提升 21.1%,成功率提升 25.5%。 该算法在较小规模学生模型上带来更大收益,有效降低了多轮智能体任务对大型模型推理成本的依赖。
提出首个面向多集体算法集体行动(ACA)的统计框架,研究多集体如何影响分类器行为,并提供可计算的定量统计界限。 框架允许各集体在仅拥有其他集体部分信息的情况下计算行动成功界限,并通过受智慧城市气候适应干预启发的数值模拟验证其效用。 该工作弥补了现有 ACA 文献主要关注单一集体设置的不足,为去中心化、碎片化的多集体协同提供了方法论支持。
线性自注意力 Transformer 块可显式构造实现 semi-gradient SARSA 等策略改进方法,并提供 ICRL 领域首个收敛保证。 该收敛保证指出,在丰富训练 MDP 分布下,梯度流动局部且指数级收敛至最优参数流形。 经验证,在随机 MDP 上训练的模型能恢复参数结构并在新 MDP 上展现强控制性能。
HARENA 是一个具备公开排行榜的活基准,评估了 16 种神经架构在智能手机、智能手表和微控制器等 29 个数据集上的性能与部署成本。 在测试中,CNN-HAR 整体领先,但有 8 种架构与其平均宏观 F1 分数差距在 2.5 点以内,而计算成本存在数量级差异。
该研究提出一种将基准测试建模为多任务委托-代理博弈的新方法,主张摒弃传统的均匀平均分聚合,转而依据题目对规范性福利的对齐度、边际可改进性及性能方差三个维度重新评估题目价值。
研究揭示最小注意力Transformer在全token损坏下可解释为两阶段经验贝叶斯过程,单次注意力步骤计算基于上下文经验分布的核加权后验均值。 深度通过粒子动力学细化分布,长程跳连将噪声输入作为查询用于后验推理,区分了深度与注意力残差的统计角色;无需显式噪声调度,固定核带宽与有限积分视界即可实现有效去噪。
潜在预测在层级深度L下仅需常数次样本,而监督学习需指数级样本,实现了数据效率的指数级提升。 研究证明了该理论,并首次分析了 data2vec 隐式执行层级潜在预测的特性,指出显式堆叠(如 H-JEPA)是冗余的。
研究者推出推理时引导层 AIMS-Fold,基于 Boltz-2 且无需重训,支持接受排斥约束。在 28 个 Boltz-2 预测失败的复杂体中,仅用 5 个生成模型即可在 64% 案例中恢复正确构象。跨 100 个模型和 20 个种子测试中,无引导的 Boltz-2 准确率为 14%,AIMS-Fold 达到 86%。这表明利用正负结构信号可显著提升理性降解剂设计效率。
针对 SWE-bench Verified 上 5000 次运行,分析 6 个 LLM 显示多数模型常编写测试,但 GPT-5.2 极少生成新测试文件且解决率接近榜首。
论文提出 GORMPO,一种利用生成式密度建模将策略更新限制在高密度区域的离线强化学习算法,已被 NeurIPS 2026 接收。 该算法旨在通过密度估计避免稀疏状态-动作空间中的分布外(OOD)动作,并提供了关于密度估计误差与性能差距的理论保证。 实证结果显示 GORMPO 在真实医疗数据集上优于最先进临床 RL 模型,且在离线 RL 基准测试中表现优于最先进离线 RL 模型。
研究提出多智能体残差上下文学习(MARICL)框架,利用 LLM 智能体分析高残差示例并编写可执行修正项,以修复基础模型在表格数据上的结构化残差。在涵盖科学、生物医学等领域的 9 个基准测试中,MARICL 在全部数据集上提升了基础模型性能,在 8 个真实数据集中的 5 个上超越最强基线。该方法提供了黑盒基线无法提供的可检视修正项,并在未见过的合成数据中恢复了隐藏结构,相关代码已公开。
FISolver 结合反向生成与强化学习,在复杂基准测试中显著优于大型数学 LLM 及 Mathematica。 该系统提出 Backward Generation 算法构建数据集,并采用 Levenshtein Distance 奖励函数进行微调。 实验表明其在更低计算成本下实现自动化数学发现的新范式。
研究提出TWNM框架,通过FOA模拟和空间特征融合提升音频语言模型的空间理解能力。 在自建基准测试中,TWNM整体准确率达70.8%,空间任务66.4%,混合场景QA 79.76%。 该方法实现了可控且可审计的空间音频语言推理,并在NeurIPS 2026发表。
该框架利用 5 个 IMU 记录 20 米平地行走数据,生成能预测坡道与楼梯行走的数字虚拟人。在 11 名卒中住院患者中,预测姿态准确度分别达 95% 和 80%。 多中心随机试点显示,基于此预测指导康复组 Fugl-Meyer 下肢评分提升 6.0 分,对照组提升 3.7 分。
一项基于106篇论文的系统研究确定了LLM驱动多智能体系统在软件工程任务中的核心设计要素,指出代码生成是最常见任务且功能适用性最受关注。 研究识别出16种设计模式,其中基于角色的协作应用频率最高,改善生成代码质量是主要设计依据。
OpenMarkX 发布了一个在标准推理下为开源 LLM 和 Agent 输出添加水印的扩展平台。该平台支持文本、视觉语言等多模态工作流,并提出了 OpenMark 方法。
提出一种利用潜变量集成的随机共振机制进行对抗攻击的测试时防御方法。该方法通过添加平移扰动并聚合对齐的特征嵌入,无需额外网络模块或微调,适用于现有架构。 在图像分类、立体匹配和光流等密集预测任务中,该方法恢复了分别高达 68.1%、71.9% 和 29.2% 的准确率损失,首次建立了通用的测试时防御框架。
TGPO 是一种在大策略分歧设置下依然有效的在策略推理蒸馏方法,旨在解决现有基于 reverse KL (RKL) 的 OPD 方法在教师-学生策略分歧较大时失效的问题。
研究提出 AB-SID-iVAR 算法,用于解决未知函数在自身诱导的未知玻尔兹曼分布下的主动学习问题。该算法基于高斯过程,通过闭式近似贝叶斯目标分布避免计算配分函数,适用于离散和连续输入域。 同时分析了变分替代方案 TS-SID-iVAR,并证明在温和条件下终端预测误差有高概率消失。该方法在合成基准测试及真实世界的势能面建模和药物发现任务中,表现优于现有方法,代码已开源。