潜空间攻击用于规避语言模型拒绝行为
文章提出控制潜空间规避攻击,将拒绝抑制重构为针对线性探针的潜空间规避攻击。 该攻击将模型表示投影至决策边界外的顺从区域,在15个指令微调、多模态及推理语言模型上取得高于现有基线的成功率。 此方法被NeurIPS 2026主会接收,有效解释了先前方法在潜空间变换上的局限。
文章提出控制潜空间规避攻击,将拒绝抑制重构为针对线性探针的潜空间规避攻击。 该攻击将模型表示投影至决策边界外的顺从区域,在15个指令微调、多模态及推理语言模型上取得高于现有基线的成功率。 此方法被NeurIPS 2026主会接收,有效解释了先前方法在潜空间变换上的局限。
TRIAGE 框架评估了大语言模型在有限 token 预算下制定最优求解计划的能力。 该框架让模型在竞赛数学、代码生成等任务池中,对选择、排序和资源分配做出前瞻性承诺,并以归一化 triage 效率和 regret 进行评分。 评测发现当前模型在预期元认知控制方面存在显著差距,为资源高效的智能体部署提供了新的能力维度。
研究提出了一种新的神经网络架构,用于在动作参数不可见的轨迹中可微学习提升动作模式(lifted action schemas)。 该架构解决了从状态变化中同时识别动作参数的问题,可作为鲁棒组件集成到神经符号模型中,并在多个规划域上成功恢复了真实结构。
论文提出一种基于神经网络学习非精确交替最小化的方法,用于求解具有二次耦合的凸优化问题。 方法通过贪婪式训练网络近似子问题解,并推导了最优性间隙的最坏情况上界及 PAC-Bayes 高概率界。在鲁棒矩阵补全和低剂量 CT 重建任务中,相比基准方法实现了 5-13 倍加速,微调后最高达 30 倍。
Tensor Network Kernel Machines 通过低秩张量网络实现非线性系统辨识。 文章阐述该模型类两大定义属性,并讨论优化、正则化方法及最新进展。 该工作已提交至 IFAC 期刊,涵盖系统控制与机器学习领域。
研究者发现 Qwen 32B 模型具备检测早期上下文中概念注入的潜在自省能力。尽管采样输出显示模型否认注入,但 Logit Lens 分析揭示残差流中存在清晰的检测信号。提供关于 AI 自省机制的准确提示可大幅增强该效应,注入敏感性从 0.3% 提升至 39.9%,误报率仅增加 0.6%,概念互信息从 0.61 比特升至 1.05 比特。
该方法利用单个预训练扩散模型生成竞争性状态假设,通过粒子滤波根据观测匹配度重新加权,同时指导状态估计与动作选择。 在部分可观测导航和视觉操作仿真实验中,相比无滤波的动作生成,该方法提升了状态估计和任务性能,且未修改预训练模型。
Batch-of-Thought (BoT) 提出了一种无需训练的跨实例学习方法,通过联合处理相关查询提升 LLM 推理能力。 该方法在多智能体反思架构中实现,通过一致性检查识别错误并分摊计算成本,在六个基准测试中推理成本降低高达 61%。 论文已被 EMNLP 2026 主会议接收,代码已公开。
Solly 是首个在缩略版 Liar's Poker 中达到人类精英水平的 AI 智能体,胜率与筹码期望值均优于包括推理型 LLM 在内的多种模型。 Solly 采用基于深度强化学习的 Actor-Critic 算法通过自博弈训练,能制定新颖策略且不易被世界顶级人类玩家利用。 将 Solly 的 RL 策略作为特定领域推理指南提供给 LLM,能提升其表现并降低 Token 成本。
研究者提出基于行动推荐的解释(ARexes),证明其足以诱导策略智能体产生非有害反应。 该方法是信息设计揭示原则的扩展,支持在保留智能体效用的同时实现高预测性能。
Ostinato 是一种新的 CPU-GPU 混合专家(MoE)推理引擎,通过在每次前向传播中保留热专家在 GPU 上,同时解决了预填充(prefill)和解码(decode)无法兼顾速度的问题。 该引擎在 4 块 RTX 4090D GPU 上运行 DeepSeek-V4-Flash,相较于现有引擎,将工具输出后的中位等待时间减少了 22%-55%,会话完成速度快 1.4-2.5 倍。
IMBUE 是一种摊销贝叶斯实验设计框架,通过统一的上下文接口在部署时接纳外部知识,支持指定先验和过往观测,无需重新训练。 外部知识被编码为输入 token,与观测一起由共享 Transformer 处理,并通过可靠性过滤器剔除不一致项。 在四个基准测试中,当外部知识可靠时,IMBUE 显著加速早期信息获取;若不可靠,则表现接近无外部知识的基线。
针对超高分辨率遥感图像,GeoScope 利用纯文本语言模型解析问题为空间程序,无需训练即提升 Qwen3-VL-8B 区域计数 16.3 分,空间关系 10.5 分。
物理信息神经网络(PINN)通过引入控制方程和边界条件,仅使用20至1000个标记状态即可实现准确预测。 研究提出分层损失加权H-PINN及其梯度感知扩展HO-PINN,在热方程和两相流基准测试中,至少一种PINN变体在20和50标签下取得最高平均主目标R²。 结果证实已知物理规律能在极高拟合成本下,支持极少观测数据下的准确神经替代预测。
该论文提出了一种利用动力学系统单调性实现可扩展神经安全认证的数据驱动框架。该框架使用单调归纳屏障证书,将连续状态空间的安全验证局部化为有限单元边界检查。 引入 Max-Monotone 神经架构,在满足温和分区假设时仅需 O(n) 次模拟器查询即可生成形式化有效的神经屏障证书。在高维基准测试中,该方法在振荡器网络和交通网络中证明了安全性,克服了先前的局限性。
针对加速器集合通信库静态配置无法适应实时网络拥塞的问题,基于 LSTM 检测器与 D3QN 选择器的双智能体动态优化器显著提升了性能。 在 Chameleon Cloud 裸金属集群测试中,该方法将 AllReduce 延迟较 NCCL 降低 36%,较 AutoCCL 降低 32%;在 A100 GPU 集群上最高带来 65% 加速。
Firepool 是 LinkedIn 面向 Agent 和强化学习任务的 GPU 执行中介,峰值期间通过热池和待机容量处理了 3206 次 Pod 请求中的 94.7%。
研究在函数空间通过隐式微分估计超梯度的双层优化泛化性。推导了基于两层 ReLU 网络均一泛化误差的平稳性界。 在 NTK 机制下给出有限样本误差界,揭示样本量对整体收敛性的影响。 数值实验表明,超出 NTK 机制时,双层结构诱导的隐式偏置可促进内层特征学习并提升性能。
提出 MHDBR 方法解决半线性抛物型偏微分方程,结合多步时间离散与条件期望回归目标。 在显式正则性等假设下证明误差界,分离时间离散、蒙特卡洛采样及神经网络近似误差;假设精确总体最小化。 对独立生成函数,约束 GroupSort 网络在大样本下达成 $J$ 阶节点 $L^2$ 误差,所需网络尺寸依赖维度,未建立维度无关复杂度。
研究揭示各向同性 Path Integral Diffusion (PID) 模型在采样受挫自旋玻璃时的宏观决策机制,证明所有各向同性 PID 均为时间变换的高斯随机定位。
VeilTune 提出首个基于安全多方计算(MPC)的 LoRA 适配器安全微调协议,兼顾数据方样本与提供方适配器的隐私保护。 通过引入训练感知非线性算子及无感知截断失败跳过机制,协议仅计算损失依赖值。 在 RoBERTa-large 的四个少样本任务上,其平均准确率比 SecP-Tuning 高 5.3 点,SST-2 任务实现 3.5x 端到端加速。
K-PWM 是一种结合 Koopman 双线性潜动态与扩展卡尔曼滤波的概率世界模型,用于部分观测下的预测与控制。该模型通过 GECM 过程训练,在部分观测的 Gymnasium MuJoCo 系统中,K-PWM 比基线方法具有更低的长期预测误差,并显著缩短了训练时间。
基于 prior-data fitted networks(PFN)的表格基础模型在简单参数化数据生成过程中,与正确指定的参数回归及包含它们的集成模型具有竞争力。
论文提出评估侧部分可观测博弈(e-PoG),证明子博弈完美监督均衡的存在性。 采用双时间尺度策略梯度算法,在 Gemma3-4B-IT 与 Qwen3-4B/8B 上实验,欺骗缓解领先基线 26.0%。
使用 FP4 预训练比 BF16 需多 1.32倍至 1.52倍 曝光次数 才能匹配罕见事实 召回率,而验证损失仅差 0.5%至 2%。 零均值梯度噪声 复现 反向传播 量化 成本,且 噪声 仅注入 Adam 二阶动量估计 时 成本 随 训练 结束 而 减弱。 建议 在 评估 低精度 配方 时 同步 测量 罕见事实 获取 指标,而非 仅依赖 损失曲线。
Agentic-OPD利用强化学习训练中的检查点池作为教师,通过在线策略蒸馏恢复LLM智能体遗忘的能力。 该方法在5个智能体任务领域和24个基准测试中,相比初始化检查点最高提升7.4分,4B学生模型在深度搜索任务上超越GPT-5.6和DeepSeek-V4.1。
TRACE 框架通过结合无目标图扰动机制与基于 fragprints 的高斯过程代理,实现了开放式分子贝叶斯优化中候选分子的按需生成。 在 6 个基准测试的 1000 次评估预算下,TRACE 展现出最强的样本效率;在铁酞菁稳定性优化中,计算热力学抗溶解能级从 0.42 eV 提升至 2.59 eV。
研究对比了多项式密度神经元在输入丢失时两种输出公式:$p_\mathrm{CD}$(贝叶斯更新,将信念视为虚拟证据)与 $p_\mathrm{EU}$(杰弗里规则,将信念设为新边缘分布)。
提出 ODDS-DR 框架,通过设计基于对数几率的可加输出参数,实现生存时间预测中概率分布的可解释性,在两个真实临床队列上验证其性能。 该方法将分布参数转化为领域对齐的风险标志,支持灵活预后视界的层级计算结构,匹配最先进预测性能的同时解决了解释性难题。
该研究提出一种通用方法,通过构建局部张量单omial字典并回归系数,自动发现可替代反向传播的符号化局部学习规则。方法适用于任意深度学习架构,在分类和重建任务中显著降低全局损失,且生成的局部规则比MLP替代方案更具可解释性。 此方法有望推动能源高效的深度学习发展,并有助于发现生物学上合理的学习机制。
Mirage 提出拓扑感知发射混淆框架,通过延迟 token 发射在网关处混淆时序信号,以可证明地限制 LLM 的时序侧信道泄漏而不牺牲 KV 缓存共享的性能收益。
针对 LLM 智能体训练易陷入零工具调用或单一操作点的问题,CARE-PO 提出基于任务难度的固定参考预算,并通过提示词标签实现效率与能力的双重可调。在 GAIA 基准测试中,CARE-PO 在 27B 和 4B 规模上同时提升了成功率并降低了调用次数,9B 规模则存在性能取舍。该方法已提交至 ICLR 2027 审稿。
该研究结合离线规划与策略蒸馏,提出双平均损失和 $\rho$-Optimal Reinforcement 机制以解决历史依赖策略问题。 在包含视觉和自然语言指令的新领域 Scavenger 中,该策略成功率超过 90%,而强化学习最高仅 5%。 蒸馏后的规划器对未见过指令成功率超 60%,对更大楼层平面图成功率超 75%。
研究人员发现现有潜空间多模态大模型存在心象崩塌失效模式,其生成的视觉潜变量对最终答案概率影响微弱,大部分推理计算实际路由至文本。该失效源于现有训练目标,视觉对齐仅使潜变量相似但未强制解码器依赖。
针对梯度提升树特征子采样效率问题,研究团队提出 CRAFT-GBM,将其原生扩展至 LightGBM。该方法利用训练历史中的分裂增益证据,自适应确定每轮搜索的特征数量与集合。 在 14 个数据集家族的评估中,CRAFT-GBM 全内生模式将单次拟合训练时间减少 39.74%,几何平均测试损失降低 1.04%。该扩展保留了原生特征打包表示,并提供了统计保证。
研究发现截止时间改变 LLM 推理价值的测量方式。 在 1200 次决策复盘中,迟到的思考模式答案价值约为准时答案的 5 倍;按时率与平均价值乘积高估优势 0.0241。 Qwen3-8B 单卡实验中,并发请求从 8 增至 56,45 秒截止时间下的完成率从 79.2% 降至 1.4%。
论文确立了宽两层神经网络在 Adam 优化下的线性收敛保证。 分析了全批次与迷你批次 Adam 在 PINNs 求解泊松方程时的几何衰减及收敛条件。 这些结果填补了 Adam 经验成功与理论理解之间的差距,提供了比现有分析更精确的 PINNs 收敛保证。
研究提出 Hindsight Critics,一种 Soft Actor-Critic 的非对称扩展,用于缓解部分可观测环境中的感官延迟。 该方法通过回溯对齐的状态-动作转移训练 critic,使 actor 在部署时无需修改观测数据即可利用特权价值估计。在 DelayBench 基准测试中,该方法能部分补偿观测延迟。
该论文提出统一因子化整理器(UFOs),通过训练网络模型化其他网络的表示规律,来改进深度学习的表示质量。 在模态算术问题上,结合权重衰减时 UFOs 可将 Transformer 训练步数减少 10 倍以上;无权重衰减时比无正则化基线减少 100 倍以上。 如果 UFOs 有效,将开创一种新范式,即损失函数本身可被训练以学习良好的表示模型。
APO2CS提出了一种用于神经组合优化的优势感知偏好优化目标,通过整合宏观和微观层级的监督提升搜索能力。 该方法在宏观层利用目标值差异丰富成对偏好,在微观层比较部分轨迹以提供密集监督,可训练或微调策略。 实验表明,APO2CS在多项组合优化任务中展现出强大的有效性和适应性。