基于任务算术将自解释性视觉 Transformer 的视觉可解释性迁移至仅预测模型
一项新研究提出通过任务算术,将在源域学习的自解释 Vision Transformer (ViT) 的视觉解释能力,迁移至目标域仅预测、零样本 VLM 基 ViT 模型,且无需目标侧解释监督。
一项新研究提出通过任务算术,将在源域学习的自解释 Vision Transformer (ViT) 的视觉解释能力,迁移至目标域仅预测、零样本 VLM 基 ViT 模型,且无需目标侧解释监督。
MSD 框架通过解耦文本与视觉 token 处理并采用两阶段训练,在不改变输出分布的前提下加速多模态大语言模型推理。该方法将 LLaVA-1.5-7B 的推理速度提升 2.29 倍,LLaVA-1.5-13B 提升 2.46 倍。
提出将治疗-对照范式应用于可解释AI研究,通过方差分解和Sobol指数分析增强对模型内部推理的影响。 评估了AlexNet、VGG11、ResNet18等CNN,结合ViT-b-16和Swin-t验证,采用5至7种同时应用变换的增强集。 该方法有助于区分模型特异性与增强自交互,并支持激活引导掩码及单类敏感性分析。
PULSE 框架通过结合概率分类器与进化感知观察似然,解决蛋白质序列数据库中的幸存者偏差问题,显著提升了功能预测准确率。 该框架认为缺失的进化可及序列比难以出现的序列更能证明无功能性。在针对 5 种 SARS-CoV-2 变异株的 11 项任务测试中,PULSE 排名均为前二,整体表现优于标准 PU 学习和蛋白质语言模型。
summary_zh: ANCORA 提出开放式课程自我博弈范式,统一策略在生成可验证问题与解决之间交替,通过流形锚定机制提升推理能力。
DPRM 通过 Doob h 变换将终端奖励转为过程奖励,作为可插拔模块优化离散扩散模型的 token 排序。 在 9 个开源模型上,该方法将 PUMA GSM8K 准确率提升 14.6%,Omni-Diffusion CLIP-L/14 提升 13.2%,且仅改变 token 顺序而不修改宿主架构。 证明了终端奖励能纠正局部自信但全局低质的选择,代码已开源。
针对医疗数据中领域偏移与噪声标注共存的挑战,研究者提出了首个噪声标签多源领域泛化睡眠分期基准NL-DGSS。 方法FF-TRUST通过联合时频早期学习正则化(JTF-ELR)利用时序和频谱一致性,在五个公开数据集上实现了噪声环境下的SOTA性能。 该工作已被MLESP 2026 Workshop及IEEE BIBM 2026会议接收。
研究人员提出 Linear Generator Network-Koopman (LGN-KM),通过非线性提升和线性生成器分解解决非线性偏微分方程,保证稳定性并揭示特征结构。
研究人员提出度量相似性分析(MSA),利用黎曼几何工具比较神经表征的内在几何结构。该方法旨在解决现有 CKA 和 RSA 方法仅比较外在几何而无法捕捉细微计算差异的问题。MSA 适用于解耦深层网络计算模式、比较 RNN 与状态空间模型动态,以及研究扩散模型的统计流形,已在 NeurIPS 2026 作为口头报告发表。
该研究采用 Swin Transformer 架构和持续训练策略,验证了科学机器学习领域中神经缩放定律的可预测性。模型在简单设定下超越标准余弦学习率调度,并可通过冷却阶段优化多步预测和频谱损失。研究构建了 IsoFLOP 曲线,识别出计算最优训练模式,并开源了代码。
该研究提出名为 Claudini 的自动研究框架,使前沿AI智能体(如 Claude Code 和 Codex)能够自主发现针对大语言模型(LLMs)的对抗性攻击算法。
LLM 驱动的生成式优化因“隐藏”的设计选择而脆弱,导致仅 9% 的代理使用自动化优化。 研究识别出起始工件、信用视界和批量大小是关键因素,在 MLAgentBench、Atari 和 BBEH 案例中决定优化成败。 作者提出的批处理规则经 TBLite 校准后,在 DeepSWE 上表现接近最优配置,差异小于 1%。
研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。
该研究提出一种新颖方法,利用有限自动机构建布尔公式序列条件化策略,以解决强化学习多任务中 LTL 任务的结构化指令遵循难题。 采用分层神经架构编码逻辑结构,并引入注意力机制使策略能对未来子目标进行推理。 在多种复杂环境的实验中,该方法展示了强大的泛化能力和优越的性能。
研究提出基于流匹配的生成式条件独立性测试框架FMCIT及图搜索方法GPC-FMCIT,通过Langevin-RePaint实现条件填补。 方法引入可复用条件重采样,在PC风格因果发现中降低单次非线性CI查询成本及整体查询复杂度,并建立了一类错误控制的理论保证。 在合成非线性结构方程模型上,GPC-FMCIT相比PC-stable基线提升了CPDAG恢复率,且所需FMCIT查询次数更少。
**可学习切尔诺夫基线用于推理时对齐** ### 2. 中文摘要 针对推理时奖励引导对齐中架构依赖或计算成本高的问题,研究提出可学习切尔诺夫基线(LCB)方法。 LCB 仅通过预训练模型的无监督采样访问实施拒绝采样,利用自适应选择的接受概率实现推理计算的细粒度控制。 该方法在连续和离散扩散设置中证明,LCB 采样以显著更少的预训练模型查询次数,紧密匹配理想拒绝采样效果。
该研究证明了多层感知机在梯度下降训练时,权重动态会集中在不变的子空间内,并在理论上精确刻画了带平滑非线性激活的两层网络不变子空间。 实验验证该低秩现象超出理论假设,且适当的低秩参数化能在多种分类任务中匹配全参数化模型的性能。 这项工作为理解非线性网络的训练动态提供了理论基础,相关成果已被 NeurIPS 2026 接收。
CORP 提出了一种无需梯度和微调的闭式单程结构化剪枝方法,利用无标签校准数据移除 MLP 和注意力子结构。 该方法将剪枝建模为表示恢复问题,通过闭式岭回归解将补偿折叠进模型权重。在 DeiT-Huge 上,剪除 50% 结构后 Top-1 准确率达到 83.24%,被 NeurIPS 2026 接收。
论文构建了算法无关的学习动态理论,确立了预测熵消失守恒律,并提出基于JS分歧的路由集成方法。 在CIFAR-10实验环境中,该方法使核心准确率维持在95%附近,且路由机制提升了预测精度。
NeurIPS 2026 接收的论文提出 Soft-Radial Projection (SRP),一种将网络输出映射至凸可行集相对内部的微分可重参数化层,保证严格可行性且映射一一。
论文提出 self-rewarding SMC 算法,通过并行扩散过程作为粒子探索轨迹,并以 trajectory-level confidence 作为自奖励信号来分配重要性权重。该方法在多种 masked diffusion 语言模型和基准测试中验证有效,无需额外训练或奖励引导即可显著提升采样质量。
RAPTOR 是一种基于岭回归自适应的正则化 Logistic 探针,通过验证集调优岭强度从归一化权重中提取概念向量。该方法在指令微调 LLM 实验中与强基线持平或更优,且训练成本大幅降低。研究借助凸高斯极小极大定理解释了惩罚强度对探针准确性及稳定性的机制。
TriSpec 提出三值推测解码框架,利用轻量级代理替代全模型验证以降低成本。 该框架可集成 EAGLE-3,相比标准 SD 最高实现 35% 加速,减少 50% 目标模型调用。 论文已被 NeurIPS 2026 接受。
summary_zh: 在单调优化任务中,HM-RI 网络取代了 POA 算法中基于学习约束的二分查找,直接学习“径向逆”,从而简化了优化流程。 HM-RI 是一种强制单调性和正齐次性的结构化 min-max 模型;在合成及蜂窝发射功率场景中,其解质量较基准提升最高 58.6 个百分点,速度加快 3.0-4.7 倍。
研究提出 Soft-TAC 可微分近似作为损失函数,用于训练最大化轨迹对齐系数(TAC)的奖励模型。用户研究表明,迭代 TAC 反馈虽能降低设计 Lunar Lander 奖励的认知负荷,但手动设计仍耗时巨大。
提出无训练框架 USteer,利用置信度度量对模型层激活值的梯度,在推理时动态调整模型行为,从而系统性降低大语言模型在推理任务中的幻觉率。 该方法无需修改模型参数或额外监督,仅通过引导生成过程降低不确定性。 已被 NeurIPS 2026 主会接收。
Mosaic 提出内存高效推理系统,将扩散 LLM 最大推理序列长度在相同硬件上提升 15.30-32.34 倍,内存峰值与平均值比率降低 2.71 倍。 系统整合 mask-only logits 内核、延迟分块优化器及全局内存管理器,实现无训练且保留精确模型输出,端到端延迟降低 2.5%-55.4%。 该研究发表于 ICML 2026,代码已公开。
论文提出因果潜在修正(CaLR)框架,通过将推理重构为受限潜在优化,解决自回归模型的局部贪婪性和扩散语言模型缺乏严格因果结构的问题。 CaLR采用来自专家模型的因果拓扑矩阵(CTM)和隐式微分,执行梯度引导的“思维修正”以强制逻辑一致性。 该方法在复杂基准测试中实现了扩散语言模型的最优性能,超越了强自回归基线,并在如数独等受限任务中表现出优越的鲁棒性。
提出 FMTT 算法,通过利用流图与速度场的关系,在测试时优化扩散模型的奖励梯度,避免常规方法中因奖励仅在数据分布末端定义而导致的不适定问题。 FMTT 可执行基于重要性加权的精确采样,或识别奖励倾斜分布局部极大值的原则性搜索,相比其他前瞻技术更有效,并能处理复杂奖励函数(如结合视觉语言模型实现新式图像编辑)。
针对传统 PAC-Bayes 仅适用于随机假设的问题,论文提出了从 PAC-Bayes 保证中提取单一假设保证的统一框架。 通过去随机化方法推导了多数投票及三种后验分布的数值界限。 实验表明该方法在单一分类器的泛化界限上优于基线最多 2 倍,但可能牺牲准确率。
论文证明当智能体效用可线性表达时,AI 对齐可重构为凸影响空间上的线性优化,从而应用福利经济学工具。 该方法使基于议题投票和随机独裁机制具有策略鲁棒性,并推导出最大化功利主义社会福利的对齐协议。 作者利用肾脏分配、慈善食物分配、LLM 回复和电车难题的人类偏好实证展示了福利影响。
研究提出 LT-MKT 方法,通过整合认知负荷与知识转移提升多域知识追踪准确性。在真实数据集上,该方法实现了最先进的预测性能。
EqM 提出基于平衡动力学的生成建模框架,在 ImageNet 256×256 上取得 1.90 FID,为测试方法中最佳。 EqM 舍弃传统扩散/流模型的时间条件动力学,学习隐式能量景观的平衡梯度,推理时通过梯度下降、自适应优化器与自适应计算进行采样。 该框架可扩展至部分噪声去噪、OOD 检测与图像合成等任务。
提出 CastFSR 框架,结合快思考预测、慢思考推理与反思评估,解决时间序列预测中上下文证据的整合问题。 支持免训练 LLM 协调及 WATD 与 TLPO 两阶段后训练,提升协调器性能。 在多个真实数据集离线评估中,展示了与代表性基准竞争的性能。
IMAP 提出在线方法,通过对比完整回合终端结果拟合共享 Q/V 奖励模型,为多智能体稀疏奖励强化学习提供密集团队奖励分解。 本地 Q/V 残差生成智能体专属奖励,归一化权重结合中心化 critic 与去中心化 PPO actor,并给出梯度误差的尖锐界与 GAE 恒等式。
强化学习框架 SEELE 通过动态调整题目难度至高性能区间,解决了现有 RLVR 方法探索效率低下的问题。 该框架在每组训练样本中追加提示并计算最优长度,利用多轮 rollout 采样结合项目反应模型拟合准确率-提示对以预测下一轮提示。 实验显示 SEELE 在六个数学推理 benchmark 上平均超越 GRPO +10.0 分、SFT +8.4 分,较最佳既往方法提升 +3.8 分。
该研究提出稀疏自编码器神经算子(SAE-NOs)及其实例化方法 SAE-FNO,旨在通过傅里叶域积分算子对概念进行功能性参数化。 SAE-FNO 利用联合稀疏性,结合概念稀疏性与领域稀疏性,在视觉数据中展现出对多尺度空间结构的高效建模能力,并支持分辨率泛化。 此方法将 SAE 从表示概念存在性扩展至建模结构化概念表达,且已获 NeurIPS 2026 接收。
OrigaMI 将机制可解释性应用作为 LLM 服务系统的一级组件,实现简化开发、高效执行与灵活部署。 其通过 Python DSL 简化访问模型内部状态,利用 FlashInspect 内核高效获取注意力分数,并支持运行时动态激活。 OrigaMI 执行开销比现有框架低两个数量级,动态激活速度提升 1000 倍,使可解释性应用在生产环境部署成为可能。
新方法 SCARCE 用学习嵌入向量替代人工性能函数,解决了传统子集模拟在 AI 安全稀有事件分析中依赖先验知识且泛化能力差的问题。 在 MNIST 误分类任务中,其平均绝对误差比网格搜索的传统方法低 400-500 倍;在 Llama-Guard-3-8B 模型上,对 LLM 越狱攻击的相对误差仅为 2.6%。
文章提出 LLM-as-Code 架构,主张由程序掌控控制流,LLM 仅作为自适应组件在推理或生成时调用。 该设计通过调用树构建上下文 DAG,使上下文长度由调用深度而非步骤累积决定,从而避免 token 爆炸。 案例研究表明,该架构显著提升了长视觉操作的稳定性,已被 KDD 2026 AgenticSE 研讨会接收。