Δ学习:残差规模与可学习性分离指导目标设计
研究指出残差规模并非Δ学习可学习性的充分启发式标准。 以分子总能量为例,用拟合元素计数的神经网络替代线性基线虽降低残差,却使GemNet预测误差翻倍。 规模归一化图Dirichlet粗糙度可作为预训练诊断指标,支持基线互补性作为目标设计原则。
研究指出残差规模并非Δ学习可学习性的充分启发式标准。 以分子总能量为例,用拟合元素计数的神经网络替代线性基线虽降低残差,却使GemNet预测误差翻倍。 规模归一化图Dirichlet粗糙度可作为预训练诊断指标,支持基线互补性作为目标设计原则。
研究提出物理信息共形预测(PI-CP),将 PDE 残差嵌入非一致性评分,在六个物理场景中实现 89-91% 覆盖率。 该方法证明 FNO 平移等变性导致边界条件近似障碍,坐标通道使其误差降低达 63 倍;在 3D 多物理级联中,将耦合误差从 18.5% 降至 5.0%。 工业应用显示,光纤陀螺仪偏置不稳定性预测较分析基线提升 3.7-8.0 倍。
自适应各向异性注意力(AAA)将注意力分解为时间路径与空间路径,并通过小门控机制预测每token两者的凸组合权重。模型 AXON 在6项EEG下游任务中,其平均平衡准确率在探针学习和全量微调下均优于稠密基线。控制音频频谱实验表明该轴分解方法可推广至EEG之外的场景。
开源框架 RobustSeiz 通过模型无关协议审计任意训练好的 EEG 癫痫检测器在噪声、伪影及对抗扰动下的鲁棒性与起病时间延迟。 该框架对 4 种深度学习检测器进行审计,结果显示 5-10% 幅度的对抗扰动可使 F1 分数降低多达 0.57,而电极接触噪声导致灵敏度从 0.57 骤降至 0.06。
VIOLA 提出了一种结合最小专家监督与大量无标签数据的标签高效框架,旨在解决多模态大语言模型在稀缺标注数据下的泛化难题。 通过引入密度不确定性加权采样、混合池构建以及置信度感知检索与提示机制,该框架在九种基准测试中显著优于各类基线模型。 此研究证明了在低成本标注场景下实现稳健适应的可能性,相关成果已被 WACV 2027 接收。
针对 LLM 形式化证明能力不足,研究团队推出系统级基准 VeruSAGE-Bench,包含 849 个来自 8 个开源 Verus 验证 Rust 系统的证明任务。
对现有研究的系统综述表明,AI 生成代码中缺陷普遍存在,功能性和稳定性缺陷最为常见,且大量缺陷归因于模型幻觉。 模型规模、指令遵循能力及训练数据的质量与多样性是影响缺陷发生的关键因素。提示工程广泛被用于缓解缺陷,但领域特定或语义复杂的问题仍需人工干预。
LEON 基于控制机械演化推导潜空间转移公式,引入共享算子矩阵与加法更新实现动力学结构化,替代隐式 Transformer 预测。 模型将预训练视觉特征转化为可观测变量,系数由演化的可观测量和动作上下文推断,以调制算子结构。 在单臂和双臂操作任务中,LEON 在包含多种扰动场景下,相比对应 WAM 基线提升了平均策略成功率,并在受控系统评估中展现出优于训练条件的泛化能力。
CrypTorch 是面向 MPC 机器学习的多阶段编译器,其自动调优器通过动态选择算子近似策略,在不损失精度的前提下将性能提升 1.14–1.60 倍,或在允许 3% 精度损失下提升 1.17–1.92 倍。
针对 LLM 上下文窗口限制,提出“智能体互联网”(IoA)架构。 新增 L8 通信层与 L9 语义层以支持协作。在两个真实数据集上,L9 的歧义消解使准确率提升 13-72 个百分点。
对金融时序基础模型(TSFMs)的实证评估显示,现成模型表现普遍较差,而原生金融预训练显著改善了长窗口粗制组合绩效。使用大规模每日超额收益数据测试,增大预训练数据集和合成增强有助于长输入窗口,但模型未能一致超越强基准。结果警示在金融领域盲目采用 AI,缺乏充分验证可能导致不可靠的预测和巨额财务损失。
提出 SEPS 框架以解决视觉与语言跨模态对齐中的补丁冗余和歧义问题,在 Flickr30K 和 MS-COCO 数据集上取得 23%-86% 的 rSum 性能提升。 该框架采用两阶段机制整合密集与稀疏文本的语义,并利用均值计算的相关性感知选择来突出关键补丁-词对应。 SEPS 已被 ICML 2026 录用,相关实现代码已在 GitHub 上公开。
研究发布 700 万参数 ECG 基础模型 RELAY,在真实点-of-care 数据集上零样本 AUROC 达 87.6% 和 81.5%,优于现有 12 导联模型。 模型通过图结构表示任意导联片段,在 29 项基准测试中,单导联和双导联随机设定下分别排名第一,且在 26 项和 22 项任务中表现最佳。 ECG 基础模型应在所有采集设置下评估,而非仅依赖 12 导联基准。
研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。
ODEWorld 提出物理时间流(PT-Flow)方法,将未来预测重构为普通微分方程(ODE)求解器在压缩潜空间中的时间积分。 该连续潜变量世界模型通过强制动力学表示空间和潜变量速度场满足 ODE 属性,有效解决了表示崩溃问题,支持任意时间分辨率及向后预测。 实验表明 ODEWorld 在视频生成和机器人控制任务中均表现优异,实现了规划导向动力学抽象与视觉真实性的平衡。
该综述针对数据智能体术语混乱的问题,提出首个六级层级分类法,将自主性从手动操作(L0)划分为生成式完全自主(L5)。 借鉴SAE J3016驾驶自动化标准,按自主性递增梳理数据管理、准备与分析研究,重点解析L2至L3从程序化执行向自主编排的技术鸿沟。 该框架明确了能力边界与责任分配,为构建前瞻性生成式数据智能体提供了路线图,并附带代码库。
研究人员提出 EDVD-LLaMA 框架,通过可解释推理提升深度伪造视频检测的准确性与泛化能力。 该框架结合时空细微信息标记化(ST-SIT)与细粒度多模态思维链(Fg-MCoT),实现像素级时空定位并抑制模型幻觉。 研究还构建了可解释推理 FF++ 基准数据集(ER-FF++set),在跨伪造方法和跨数据集场景中展现出优于传统检测方法的鲁棒性。
研究指出 PDE 发现的事后评估需兼顾预测精度、物理一致性、可解释性及分布外泛化能力,且这些属性往往相互冲突。现有文献多仅关注局部指标,易导致结论偏差及方程排序改变。 作者提出首个 PDE 评估指标分类体系,并发布基于规则的 Pde-Check 协议,指导根据数据可用性和物理先验等场景选择评估策略。
summary_zh: Proxy OPD 提出一种后训练方法,利用目标冻结基策略作为参考,通过代理奖励引导探索生成 token 级对数概率变化信号,实现在线策略蒸馏中跨目标复用奖励诱导改进。
Layer patching 的顺序显著影响大语言模型插值性能,简单顺序策略(首层至末层或末层至首层)常表现优异。 该工作将最优层子集寻找建模为无环图中的最短路径优化问题,并提出基于 KL 散度的贪心算法 KLPatch,通常优于从末层开始的策略。
研究提出稀疏 Delta 记忆(SDM),扩展 Gated DeltaNet 架构,利用稀疏寻址方案将门控线性 RNN 隐藏状态容量提升数个数量级。 SDM 用大型显式记忆中的稀疏读写替代密集键值外积。在 isoFLOP 约束及参数数量相同条件下,更高状态记忆容量显著提升了上下文学习和长上下文检索性能。
研究人员开发了肾癌视觉-语言基础模型 RenalCLIP,旨在通过无创评估提升诊断精度。 该模型利用 27,866 例 CT 扫描数据,采用两阶段预训练策略,在十个核心临床任务上性能显著超越通用模型,且仅用 20% 数据即达基线峰值表现。 RenalCLIP 展现出强大的零样本诊断能力,有助于优化肾实质的预后分层与个性化治疗管理。
研究提出 LEAF 框架,利用 Input Convex Neural Network (ICNN) 近似目标函数的 Moreau envelope,开发了 MEL-ADMM 和 sMEL-ADMM 算法。
首项针对端侧小语言模型(SLMs)信任与伦理影响的研究表明,相较于云端模型,端侧 SLMs 可信度显著更低且缺乏伦理保障。 研究通过评估发现端侧 SLMs 更容易生成刻板印象、不公平及有害内容,且无需越狱即可通过 Open Knowledge 攻击利用其风险。 这些漏洞可被用于制造社会伤害、非法活动及虚假信息,突显了端侧部署在隐私之外的安全隐患。
StableRCA 提出无需全局因果图知识的根因分析框架,通过比较候选变量在正常与异常状态下的条件分布变化区分根本原因。 方法先识别边缘分布偏移变量作为候选,利用稳定学习选择局部条件集,最后基于相对风险变体分数排序,在四个真实世界基准上验证了性能。
论文提出 CausalPOI 框架,利用时空功能交互图建模 POI 语义与空间关系,构建对齐的处理与对照组以模拟反事实场景。 该方法在真实 SafeGraph 数据集上显著优于现有基线,验证其在时空预测与因果效应估计中的有效性,为城市干预分析提供可解释基础。 代码已在 GitHub 开放,论文被 KDD 2026 接收。
针对N臂随机决斗臂问题,提出Tree-Guided Identify-Then-Exploit统一框架。 该框架首次实现最佳臂识别与最小后悔目标的联合优化,在正全局间隙假设下,无需传递性假设。 实现$O(N)$弱后悔与样本复杂度,达到$O(N\log T)$强后悔订单,结果被NeurIPS 2026接收。
论文提出中点生成模型(MGM),基于线性插值Flow Matching的对称性,定义中点散度作为分布差异度量。 该方法通过随机翻转插值和对称随机插值泛化散度,并推导变分形式以训练单步生成器,性能优于现有方法。已被NeurIPS 2026接收。
JECS 提出一种联合选择程序,实现了可证明的全局污染率(GCR)控制,用于多模型基准测试去污染。 该方法通过计算逐模型共形 p 值并聚合为保守包络,应用自适应 Benjamini-Hochberg 程序选择基准,在实验中表现出比基线更高的检测效力。 JECS 解决了独立应用单模型方法导致的跨模型比较不可靠问题,已获 NeurIPS 2026 接收。
TIDE 架构通过引入非对称兴奋-抑制(E-I)网络替代传统多层感知机,利用 Wilson-Cowan 动力学及侧向抑制机制稳定神经动态计算。 该模型强制 80:20 E-I 平衡比并遵循 Dale 法则,在多数数据集上实现比 CTM 更高的 top-1 准确率且训练预算更小。
研究提出非对比自监督学习方法 PEIRA,通过最优线性回归器迹定义目标,在 ImageNet-1K 上实现 69.17% 线性探测准确率。 该方法稳定均衡点对齐主要非线性正则相关子空间,在 CIFAR-10 等数据集上与 VICReg、LeJEPA 基准具有竞争力,并支持 8 个数据集迁移实验。 结果验证了理论稳定性分析,代码与实验已开源。
该方法将 Flow Matching 推广至高维参数域,确保变换仅依赖初态与目标分布,并在水斯坦巴重中心假设下近似分布插值。 实验表明,PiFM 在合成与真实数据中优于现有方案,可有效生成路径无关轨迹及分布外样本。
提出线性参数化概率模型的闭式谱框架,通过加权卡方散度积分将Kullback-Leibler散度估计转化为最小二乘问题。 仅依赖一阶和二阶特征矩推导显式谱公式,可扩展至f-散度族并与神经网络结合,提供收敛保证。
研究人员提出一种名为 $\Delta$LPS 的离散朗之万启发式后验采样器,旨在解决离散状态空间中的逆问题。该方法利用梯度信息识别离散移动,且无需离开离散状态空间。
GRAPHLCP 提出了一个将图拓扑和节点间依赖纳入定位与加权的邻近性局部共形预测框架。 该框架通过特征感知稠密化步骤缓解稀疏图局部偏差,并基于个性化 PageRank 内核计算建模结构邻近度。 该方法在回归和分类数据集实验中展示了改进测试条件覆盖率且避免过度保守的效果,已被 NeurIPS 2026 接收。
提出可达性修正辅助目标 RC-aux,在潜空间世界模型中解耦预测精度与规划对齐问题。 该方法在 LeWorldModel 骨干网络中加入时序多步预测与预算条件可达性监督,提升 LIBERO-Goal 等任务表现。 表明潜空间模型规划能力取决于表示是否编码了下游搜索所需的时空几何结构。
该研究揭示了训练时批量归一化(BN)通过平移切换超平面,重塑了连续分段仿射(CPA)网络在局部窗口内的几何结构。 在一般位置假设下,BN 层使局部窗口内的仿射区域数量下限取决于批次扩散度而非偏置,且该精确公式在深层网络中依然成立。 实证数据显示,BN 增加了期望局部区域数量,其中大部分额外区域源自内部交集。
提出多智能体 LLM 强化学习的边际贡献策略梯度方法,解决单一奖励信号带来的高噪声问题。 证明贡献信号能保持系统梯度正确性,并将梯度噪声分解为三项以优化学习过程。 在 GSM8K 数据集上使用 Llama-3.2-3B 验证,贡献信号比共享奖励学习更快(p=7.5×10^-5)且容忍两倍的学习率。
研究提出去偏神经网络算子 DOPE,用于估计物理系统轨迹的目标标量量,解决传统方法的一阶偏差。 方法结合半参数估计与 Riesz 回归学习权重,支持部分和不规则观测,兼容任意神经网络算子架构。 数值实验表明 DOPE 在多种场景下表现优于传统插值法,显著提升目标量估计精度。
基准测试了 156 个采用 Llama-3.2 和 Qwen3 架构的生成式医疗事件模型,重点评估 Tokenization 决策。 融合 Token 在 8 个结果家族中的 6 个产生显著增益,Spearman 相关系数提升 0.032 至 0.114。 将输入映射至 CLIF 格式可减少 71.4% 训练 Token 和 97.8% 词表大小。