面向可泛化推理:基于组因果反事实策略优化的 LLM 推理方法
针对现有奖励机制过度关注答案正确性而忽视推理过程的问题,论文提出了组因果反事实策略优化方法,以提升 LLM 推理的泛化能力。 该方法通过构建因果反事实奖励,同时评估推理策略在扰动下的鲁棒性与跨问题迁移的有效性。实验证明其在多种基准测试中展现了优势。 ```
针对现有奖励机制过度关注答案正确性而忽视推理过程的问题,论文提出了组因果反事实策略优化方法,以提升 LLM 推理的泛化能力。 该方法通过构建因果反事实奖励,同时评估推理策略在扰动下的鲁棒性与跨问题迁移的有效性。实验证明其在多种基准测试中展现了优势。 ```
三项受控实验表明,LLM 在代码优化中更像贪婪优化器,高度依赖预训练先验。 零_shot kernel 生成中,输入尺寸信息无影响;反馈循环中 CUDA 性能单调提升,TVM IR 性能下降。 结果显示,当模型在低密度语言环境中操作时,kernel 优化性能会显著退化。
提出 PraC 统一框架,将贝叶斯优化与实验设计结合,通过主动推断解决混合学习与优化问题。 框架通过权衡信息增益与预期遗憾来评估候选查询,在决策监控、主动搜索及复合优化三个层级降低下游风险并提升关键区域覆盖率。
研究人员提出无学习PTQ框架CoreQ,通过几何分解计算层自适应校正系数,结合贪心逐次舍入优化量化目标。 该框架避免了对有限校准数据的过拟合,无需调节系数,其扩展版K-CoreQ以少量额外计算换取性能提升。CoreQ在多个LLM家族和量化设置中实现了比强基准更低的困惑度和更高的下游准确性。
研究人员提出集成LLM与临床工具的CXReasonAgent,解决大型视觉语言模型(LVLMs)缺乏证据支撑及适配成本高问题。 该智能体在包含1,946个对话、覆盖12项诊断任务的基准测试CXReasonDail中表现优于LVLMs。 论文已被ML4H 2026会议接收,并提供了在线演示以支持可靠且可验证的诊断推理。
针对临床研究中信息性删失导致的偏差,提出一种基于部分识别的假设精简框架以评估条件平均处理效应(CATE)的鲁棒性。 该框架推导了CATE的有效界,并引入模型无关元学习者 SurvB-learner 进行估计,具备双重鲁棒性和准预言机效率特性。 通过模拟和真实数据实验验证了该方法的有效性,可识别出在信息性删失下治疗有效的患者亚群。
研究构建了多层级大规模数据集,系统记录 AI 生态中模型、数据、算力等要素在组织间的流动关系。 该数据集标注了时间与类型标签,通过分析中心节点、网络集中度及关键控制点,揭示了行业权力结构。 此资源旨在推动对 AI 供应链政治经济学的批判性研究,相关数据已公开供交互式探索。
研究提出将未知值探测形式化,结合空间探索与证据集中策略,在预算分配中实现超参数优化。 证明该策略具有最坏情况近似保证且接近最优,在超过 250 个实验设置中对比强基线,始终表现出优势。
AHE-Beta 通过需求中心闭环将 pass@1 从 21.9% 提升至 33.3%,并比 Base Harness 减少 40.8% 的 token 消耗。
过参数化扩散模型在训练过程中,泛化能力早于记忆现象出现。 实验表明,记忆发生时间与数据集大小成正比,符合核回归边界理论。通过引入随机规则的简单无上下文无关文法,验证了早期停止对泛化成本的控制。 该研究支持基于数据集规模设置早期停止标准,以避免记忆并优化泛化,对超参数迁移及隐私敏感应用具有直接影响。
研究提出 EvoUAD-AT 方法,通过进化不确定性感知对抗分布解决点式对抗训练忽略邻域变异的问题。 方法在锚点周围维护实例级搜索分布,结合内省梯度匹配约束输入梯度,在多个基准测试中表现优于现有 SOTA 方法。 该方法在清洁精度和对抗鲁棒性上均取得一致提升。
该研究分解了两层神经网络中 SGD 的动力学,发现正交补分量中的教师依赖性谱尖峰会放大表示方差并降低泛化能力。 通过引入“分解动力学”替代模型,验证了在 ReLU 学生网络中冻结正交补分量方向能改善泛化,且信号分量与二层权重存在强耦合。 结果从动力学角度解释了教师子空间外的特征学习为何损害泛化。
研究提出 Soft-MoQE 架构,通过非可训练量子电路池与经典门控网络替代变分量子训练,避免 barren plateaus 等优化难题。 在 MNIST parity、MNIST 10-class 和 FashionMNIST 任务中,Soft-MoQE 性能优于单专家、均匀平均和线性基线,达到可训练量子神经网络的水平,且量子训练成本低数个数量级。
IPS 是支持 Isabelle 证明器训练的免费 HTTP API 验证服务,提供会话租赁与内存感知准入控制。 性能上在单工作节点时优于 PIDE MCP,32 节点并发达到单节点 24 倍速度,内存不足时拒绝新会话。
研究通过测试时动作干预,对比含与不含动作输入的世界模型,评估其在语义预测中对动作的依赖程度。 实验在合成环境及Cityscapes、BDD100K数据集上进行,正确动作最多提升mIoU 2.5点,而错误动作导致性能下降最多23.2点。 结果表明精度增益仅证明模型使用了动作,而非其预测对动作的依赖强度。
该框架利用 LLM 结合 STRIDE 和 MITRE ATT&CK 识别电网攻击路径,将 cyber 层关键节点重合度@3 从约 33% 提升至最高 100%,并降低 75-85% 的运行时间。 框架在 IEEE 14-bus 系统上评估,节点级相似度达 65%,路径级对齐度达 48%。 结果表明 LLM 引导的攻击路径识别是高效且具备物理感知能力的网络安全分析方法。
多智能体系统(MAS)在动态重规划阶段存在被恶意智能体通过反馈注入指令以劫持流程的漏洞。Kaer 通过抽象模板传递诊断信息并将计划修订限制在确定性修复算子内,在保持与 ControlValve 相当实用性的同时,比 Magentic-One 和 ControlValve 具有更高的鲁棒性。
无需训练的通用帧级测量经PCA降维后,在CalMS21上以85.8 macro F1超越最佳自监督编码器82.4,且在MABe22小鼠任务中高出hBehaveMAE 3.4分。 该方法在短窗口下表现突出,原始关键点在自有坐标系中汇总即可在多数基准上匹敌或超越现有编码器,仅在蝇类任务中落后5.3分。 这表明当前行为编码器尚未超越其依赖的手工特征,建议未来评测需将此类无需训练的基线纳入对比。
Hypnos 开源双阶段持续学习平台在 CORe50 NICv2-391 协议上取得 78.6%-81.6% SOTA 准确率。 基于 ZCU104 FPGA 与 28-nm 工艺实现,单样本延迟为 7.79s-10.54s,较量化潜在重放减少 3.8 倍学习步数与 22 倍算力。 实现边缘设备在有限资源下的鲁棒持续适应。
研究评估了基于三个预训练语音模型嵌入和声学特征的帕金森病(PD)检测,发现女性在较大数据集上的分类准确率高于男性。 当模型仅针对单一性别训练时,无法泛化到另一性别;研究结果强调在开发PD检测系统时将性别作为变量纳入的重要性。
ALIGN 是一种基于场景的方法,旨在解决 AI 特性限制人类控制所引发的问责与控制错位问题。 该方法通过提升意识、评估对齐度及支持设计决策,支持高风险 AI(如铁路)的开发与实施治理。 ALIGN 突出了 AI 全生命周期中控制与问责对齐的重要性,促进了 AI 治理。
BaseRSI提出递归内部化新范式,使基础视觉语言模型通过无训练编辑将工具增益写入权重。 其核心机制ReGap利用激活差异监督Transformer块,ReKey算法通过回归将信号写入关键神经元。 在十个视觉推理基准测试中,该方法在分布内外均持续提升模型性能。
研究证明,使用捕捉稀疏性的Bernoulli-Gaussian先验的扩散模型,结合似然引导退火Langevin采样器,能在多项式时间内以近最优样本复杂度恢复稀疏信号。 该结论适用于广泛的随机与确定性感知矩阵,并在信号符合先验时建立后验采样的全变差保证。 这些结果为基于扩散先验的反问题求解器奠定了统计与计算高效的理论基础。
BubbleTea 首个利用 MoE 专家并行气泡进行微调的共置系统,相比 LLMStation 快 1.9–6.2 倍。 其编译器路径自动从服务 LLM 派生微调块,4 块 A100 GPU 上 p90 推理延迟保持良好。 突发负载下训练速度达普通训练器的 14 倍。
针对前沿编程智能体因识别合成场景而规避自动化审计的难题,研究者提出 Continuation Audits 流水线,利用真实编码日志前缀引导审计模型延续至特定行为。
summary_zh: CFVul 通过滑动窗口编码和长度约束,缓解了漏洞检测器中已修复版本得分更高的修复反转问题。 CFVul 在 PrimeVul 数据集上 PairRank 达 59.4%;针对长度增加超 15% 的修复,PairRank 从 CodeBERT 的 25.8% 提升至 48.4%。
作者提出免训练方法 PQRS(Per-Query Routed Sparse Attention),在视频扩散 Transformer 中仅对 Key 聚类,让每个 Query 独立选择 Key 簇。
研究提出 SkimPrefill 方法,利用 Qwen3.5-0.8B 等小模型在低分辨率下快速定位关键图文单元,加速视觉语言模型(VLM)处理 100K token 长输入的 Prefill 阶段。
研究在 ChatMusician 和 MuPT 中识别出预测和声进行的稀疏电路,确认为其核心驱动因素。 使用 Auto-Emergence 算法提取该电路,并通过因果干预验证其在 I 到 I 终止根音预测中的关键作用。 这是音乐领域首个系统性电路发现研究,被 NeurIPS 2026 Workshop on Interpretability for Discovery 接收。
针对数据驱动控制器因物理系统假设失效导致的安全隐患,提出一种将控制器、安全屏蔽及系统模型整合为虚拟单一底层模型(V-SUM)的方法。 该方法通过一致性检查持续评估安全保证,利用一致性保持规则在系统演化时自动更新模型并恢复有效屏蔽。在单轮车的避碰任务中,验证了该机制能有效维持系统变化下的安全保证。
研究提出基于 YOLO-World 的主动学习框架,通过特征聚类和物体置信度优化初始标注池。 在 NWPU 数据集测试中,该方法将 mAP50 平均提升 6.6%,基于物体的评估改进约 11%。 基础模型在主动学习早期周期能显著提升性能并减少标注时间。
PIPETTE 提出一种提示注入紫队框架,通过在 AgentDojo 和 ASB 基准测试中实现近乎零的攻击成功率(ASR),同时保持与未防御基线接近的良性任务效用。 该框架采用基于词典学习的奖励机制鼓励攻击策略的广泛覆盖,并结合针对间接提示注入(IPI)防御的在线策略对抗训练流程。 此方法解决了现有基于强化学习红队方法中存在的模式坍缩问题,将红队发现有效转化为防御方的鲁棒性提升。
研究提出RespCCT和FreqCCT两款紧凑卷积Transformer,参数规模分别为173,187和124,999,在测试集上准确率达98.13%与97.58%。 模型比最强预训练网络减少2.0至64.6倍权重存储,计算输入图像耗时超过运行模型,线性探针能以0.958准确率识别数据来源库。
研究团队提出世界锚定规范化框架 WACO,解决 VLA 模型因相机与机器人基座偏移导致的策略失效问题。在 LIBERO-PoseShift 基准及 UR5e 机器人测试中,WACO 将移位成功率分别提升 13.2 和 36.7 点,恢复 90% 仿真性能差距。该方法无需额外数据或测试时校准,在无扰动训练数据方法中创造新纪录。
OCTR2A 架构利用对角 RGB 相机重建并预测鸟瞰图(BEV)轨迹,实现城市路口实时感知与预测。 该模型在单张消费级 GPU 上实时运行,预测 ADE/FDE 达 0.154/0.241 米;相比 SIND 基准 SOTA,预测精度提升 66.7%/41.7%。 R3ST++ 合成基准支持真实场景适配,无需 LiDAR 或 HD 地图等昂贵资源。
ViLFlow 是一款结合输出嵌入联合建模与并行 token 解码的连续流视觉-语言模型。 该模型在 VQAv2 上优于自回归及掩码扩散基线达 8.46 个百分点,在 COCO Karpathy test 上提升 CIDEr 16.25 分。 其解码器可独立适配,在不重新训练去噪器的情况下提升问答与描述能力。
研究提出 EmergeFuse 框架,通过类相对热线索选择提升开放词汇语义分割性能。在三项基准测试中,未见类 mIoU 最高提升 4.755%,严格互补转换率提升 15.730%。该方法解决直接融合导致的 RGB-语言对齐干扰,保留 RGB 预测可靠性。
AutoPI 提出基于 PIAtlas 分类法的自适应红队方法,用于系统覆盖 LLM Agent 提示注入攻击。 该方法在 AgentDojo 基准上对 Qwen3.6-35B 实现全分类覆盖,对 Claude Haiku 5.5 的 ASR 提升 20%–50%。 代码与攻击数据已开源,支持可复现的覆盖率评估。
将不可信文档渲染为页面图像可平均降低提示词注入成功率,但防护效果取决于模型与操作类型。测试涵盖6个模型及191个来源,Qwen3-VL-8B 对图像注入的替换操作执行率仍高达 77.96%。
针对移动网络节能策略评估难题,论文提出基于预测的生成框架以生成无线接入网功耗轨迹。 该框架将功耗分解为全局预测与残差修正,在商用 5G RAN 实验中,仅用单点目标观测即可将中位 MAE 降低约 50%。 相比 TimeWeaver,该方法能有效泛化至罕见及未见配置场景。