跳到正文
11月10日周二
  1. arXiv · AI36

    TRIAGE:评估资源受限下大语言模型的预期元认知控制

    TRIAGE 框架评估了大语言模型在有限 token 预算下制定最优求解计划的能力。 该框架让模型在竞赛数学、代码生成等任务池中,对选择、排序和资源分配做出前瞻性承诺,并以归一化 triage 效率和 regret 进行评分。 评测发现当前模型在预期元认知控制方面存在显著差距,为资源高效的智能体部署提供了新的能力维度。

  2. arXiv · AI34

    用于经典规划的提升动作模式可微学习

    研究提出了一种新的神经网络架构,用于在动作参数不可见的轨迹中可微学习提升动作模式(lifted action schemas)。 该架构解决了从状态变化中同时识别动作参数的问题,可作为鲁棒组件集成到神经符号模型中,并在多个规划域上成功恢复了真实结构。

  3. arXiv · ML28

    学习非精确交替最小化求解凸问题二次耦合

    论文提出一种基于神经网络学习非精确交替最小化的方法,用于求解具有二次耦合的凸优化问题。 方法通过贪婪式训练网络近似子问题解,并推导了最优性间隙的最坏情况上界及 PAC-Bayes 高概率界。在鲁棒矩阵补全和低剂量 CT 重建任务中,相比基准方法实现了 5-13 倍加速,微调后最高达 30 倍。

  4. arXiv · AI42

    研究发现 Qwen 32B 模型具备检测概念注入的潜在自省能力

    研究者发现 Qwen 32B 模型具备检测早期上下文中概念注入的潜在自省能力。尽管采样输出显示模型否认注入,但 Logit Lens 分析揭示残差流中存在清晰的检测信号。提供关于 AI 自省机制的准确提示可大幅增强该效应,注入敏感性从 0.3% 提升至 39.9%,误报率仅增加 0.6%,概念互信息从 0.61 比特升至 1.05 比特。

  5. arXiv · AI30

    Batch-of-Thought:增强 LLM 推理的跨实例学习方法

    Batch-of-Thought (BoT) 提出了一种无需训练的跨实例学习方法,通过联合处理相关查询提升 LLM 推理能力。 该方法在多智能体反思架构中实现,通过一致性检查识别错误并分摊计算成本,在六个基准测试中推理成本降低高达 61%。 论文已被 EMNLP 2026 主会议接收,代码已公开。

  6. arXiv · AI33

    Solly 在 Liar's Poker 中达到人类精英水平,RL 策略可指导 LLM 提升推理效率

    Solly 是首个在缩略版 Liar's Poker 中达到人类精英水平的 AI 智能体,胜率与筹码期望值均优于包括推理型 LLM 在内的多种模型。 Solly 采用基于深度强化学习的 Actor-Critic 算法通过自博弈训练,能制定新颖策略且不易被世界顶级人类玩家利用。 将 Solly 的 RL 策略作为特定领域推理指南提供给 LLM,能提升其表现并降低 Token 成本。

  7. arXiv · ML36

    Ostinato 实现 CPU-GPU 混合推理,加速本地 Agent 运行

    Ostinato 是一种新的 CPU-GPU 混合专家(MoE)推理引擎,通过在每次前向传播中保留热专家在 GPU 上,同时解决了预填充(prefill)和解码(decode)无法兼顾速度的问题。 该引擎在 4 块 RTX 4090D GPU 上运行 DeepSeek-V4-Flash,相较于现有引擎,将工具输出后的中位等待时间减少了 22%-55%,会话完成速度快 1.4-2.5 倍。

  8. arXiv · ML28

    提出 IMBUE 框架:融合上下文知识的摊销贝叶斯实验设计

    IMBUE 是一种摊销贝叶斯实验设计框架,通过统一的上下文接口在部署时接纳外部知识,支持指定先验和过往观测,无需重新训练。 外部知识被编码为输入 token,与观测一起由共享 Transformer 处理,并通过可靠性过滤器剔除不一致项。 在四个基准测试中,当外部知识可靠时,IMBUE 显著加速早期信息获取;若不可靠,则表现接近无外部知识的基线。

  9. arXiv · AI20

    物理信息神经网络在小数据场景下与经典偏微分方程替代模型的对照研究

    物理信息神经网络(PINN)通过引入控制方程和边界条件,仅使用20至1000个标记状态即可实现准确预测。 研究提出分层损失加权H-PINN及其梯度感知扩展HO-PINN,在热方程和两相流基准测试中,至少一种PINN变体在20和50标签下取得最高平均主目标R²。 结果证实已知物理规律能在极高拟合成本下,支持极少观测数据下的准确神经替代预测。

  10. arXiv · ML33

    基于单调性的可扩展神经安全认证

    该论文提出了一种利用动力学系统单调性实现可扩展神经安全认证的数据驱动框架。该框架使用单调归纳屏障证书,将连续状态空间的安全验证局部化为有限单元边界检查。 引入 Max-Monotone 神经架构,在满足温和分区假设时仅需 O(n) 次模拟器查询即可生成形式化有效的神经屏障证书。在高维基准测试中,该方法在振荡器网络和交通网络中证明了安全性,克服了先前的局限性。

  11. arXiv · ML27

    基于隐式微分的过参数化双层网络泛化性分析

    研究在函数空间通过隐式微分估计超梯度的双层优化泛化性。推导了基于两层 ReLU 网络均一泛化误差的平稳性界。 在 NTK 机制下给出有限样本误差界,揭示样本量对整体收敛性的影响。 数值实验表明,超出 NTK 机制时,双层结构诱导的隐式偏置可促进内层特征学习并提升性能。

  12. arXiv · ML33

    Deep backward multistep high-order regression methods for high dimensional nonlinear parabolic partial differential equations

    提出 MHDBR 方法解决半线性抛物型偏微分方程,结合多步时间离散与条件期望回归目标。 在显式正则性等假设下证明误差界,分离时间离散、蒙特卡洛采样及神经网络近似误差;假设精确总体最小化。 对独立生成函数,约束 GroupSort 网络在大样本下达成 $J$ 阶节点 $L^2$ 误差,所需网络尺寸依赖维度,未建立维度无关复杂度。

  13. arXiv · AI26

    VeilTune:基于安全多方计算保护 LoRA 适配器的公开预训练模型微调协议

    VeilTune 提出首个基于安全多方计算(MPC)的 LoRA 适配器安全微调协议,兼顾数据方样本与提供方适配器的隐私保护。 通过引入训练感知非线性算子及无感知截断失败跳过机制,协议仅计算损失依赖值。 在 RoBERTa-large 的四个少样本任务上,其平均准确率比 SecP-Tuning 高 5.3 点,SST-2 任务实现 3.5x 端到端加速。

  14. arXiv · ML29

    FP4 预训练损耗罕见事实获取:验证损失掩盖的低精度训练效率损失

    使用 FP4 预训练比 BF16 需多 1.32倍至 1.52倍 曝光次数 才能匹配罕见事实 召回率,而验证损失仅差 0.5%至 2%。 零均值梯度噪声 复现 反向传播 量化 成本,且 噪声 仅注入 Adam 二阶动量估计 时 成本 随 训练 结束 而 减弱。 建议 在 评估 低精度 配方 时 同步 测量 罕见事实 获取 指标,而非 仅依赖 损失曲线。

  15. arXiv · ML33

    一种自动发现符号化局部学习规则以替代反向传播的方法

    该研究提出一种通用方法,通过构建局部张量单omial字典并回归系数,自动发现可替代反向传播的符号化局部学习规则。方法适用于任意深度学习架构,在分类和重建任务中显著降低全局损失,且生成的局部规则比MLP替代方案更具可解释性。 此方法有望推动能源高效的深度学习发展,并有助于发现生物学上合理的学习机制。

  16. arXiv · ML30

    CARE-PO 提出可控工具调用效率方法,优化 LLM 智能体表现

    针对 LLM 智能体训练易陷入零工具调用或单一操作点的问题,CARE-PO 提出基于任务难度的固定参考预算,并通过提示词标签实现效率与能力的双重可调。在 GAIA 基准测试中,CARE-PO 在 27B 和 4B 规模上同时提升了成功率并降低了调用次数,9B 规模则存在性能取舍。该方法已提交至 ICLR 2027 审稿。

  17. arXiv · AI25

    通过蒸馏信念空间任务与运动规划器部署物理与认知合规的智能体

    该研究结合离线规划与策略蒸馏,提出双平均损失和 $\rho$-Optimal Reinforcement 机制以解决历史依赖策略问题。 在包含视觉和自然语言指令的新领域 Scavenger 中,该策略成功率超过 90%,而强化学习最高仅 5%。 蒸馏后的规划器对未见过指令成功率超 60%,对更大楼层平面图成功率超 75%。

  18. arXiv · ML22

    CRAFT-GBM 提出基于 LightGBM 的自适应特征选择方法

    针对梯度提升树特征子采样效率问题,研究团队提出 CRAFT-GBM,将其原生扩展至 LightGBM。该方法利用训练历史中的分裂增益证据,自适应确定每轮搜索的特征数量与集合。 在 14 个数据集家族的评估中,CRAFT-GBM 全内生模式将单次拟合训练时间减少 39.74%,几何平均测试损失降低 1.04%。该扩展保留了原生特征打包表示,并提供了统计保证。

  19. arXiv · ML29

    截止时间如何改变 LLM 推理价值的测量

    研究发现截止时间改变 LLM 推理价值的测量方式。 在 1200 次决策复盘中,迟到的思考模式答案价值约为准时答案的 5 倍;按时率与平均价值乘积高估优势 0.0241。 Qwen3-8B 单卡实验中,并发请求从 8 增至 56,45 秒截止时间下的完成率从 79.2% 降至 1.4%。

  20. arXiv · ML41

    UFOs:引入统一因子化整理器以优化神经网络表示学习

    该论文提出统一因子化整理器(UFOs),通过训练网络模型化其他网络的表示规律,来改进深度学习的表示质量。 在模态算术问题上,结合权重衰减时 UFOs 可将 Transformer 训练步数减少 10 倍以上;无权重衰减时比无正则化基线减少 100 倍以上。 如果 UFOs 有效,将开创一种新范式,即损失函数本身可被训练以学习良好的表示模型。

  21. arXiv · ML25

    APO2CS:面向组合优化双层构造搜索的优势感知偏好优化

    APO2CS提出了一种用于神经组合优化的优势感知偏好优化目标,通过整合宏观和微观层级的监督提升搜索能力。 该方法在宏观层利用目标值差异丰富成对偏好,在微观层比较部分轨迹以提供密集监督,可训练或微调策略。 实验表明,APO2CS在多项组合优化任务中展现出强大的有效性和适应性。

  22. arXiv · ML31

    语言模型后训练中的谱秩与步长方向动态研究

    研究揭示大语言模型后训练中“近全秩更新”与“低稳定秩变化”的矛盾表象兼容。对于奇异值呈幂律衰减的更新,随着维度增加,稳定秩相对于固定能量秩变得可忽略。 对 OLMo-2-7B 的 PPO 更新进行全 SVD 分解显示,稳定秩仅为 9.6-18.3,但需 532-1,222 个奇异分量才能覆盖 80% 能量。