ToolTurns:评估 LLM 智能体在多轮对话中工具使用能力的基准
ToolTurns 包含 2,620 个问题和 1,827 个工具,测试 LLM 智能体在多轮对话中的澄清与工具使用能力。 在 9 个语言模型中,最佳智能体完成 69.6% 的单次请求但仅 39.8% 的完整对话;所有模型在后续请求上的成功率均低于初始请求。 该基准为评估智能体在带工具的多轮对话中维持任务成功率提供了测试平台。
ToolTurns 包含 2,620 个问题和 1,827 个工具,测试 LLM 智能体在多轮对话中的澄清与工具使用能力。 在 9 个语言模型中,最佳智能体完成 69.6% 的单次请求但仅 39.8% 的完整对话;所有模型在后续请求上的成功率均低于初始请求。 该基准为评估智能体在带工具的多轮对话中维持任务成功率提供了测试平台。
研究评估了分解、类型化重构及概念简化三种重写策略在数学、逻辑及代码基准任务中对 8 个 LLM 的影响。 最佳重写策略平均提升准确率 27.6%,但无单一方法适用所有问题,不匹配的重写反而有害。 简单规则可部分迁移增益至新问题,在选定重写问题上提升 11.0%。
研究揭示编码智能体存在终止滞后现象,38%至82%的成功运行在首次编辑时即获得正确补丁,但智能体仍继续运行。 Qwen3-Coder在SWE-bench Verified等数据集上的解决后步骤占比中位数为35%至37%,Laguna-XS.2为54%至60%。 这部分额外步骤主要用于验证和探索,1%至8%的情况会导致智能体撤销正确的补丁。
大语言模型在数学题目和作文反馈生成上显著缺乏多样性,输出同质化程度远高于人类。 直接提示下,模型输出的词汇(Self-BLEU)相似度比人类高 78%,语义相似度高 51%。 尽管多样性提示和后训练能增加表层变化,但未扩展教学形式,加剧了模式崩溃。
RSI-PDEbench 发布了包含 1001 个案例的基准,涵盖 42 种方程模板,并提出了递归自我改进智能体 RSI-PDE。 该基准提供 Full、Noisy 及 Hard-OOD 三种评估设置,测试无噪声、高斯噪声及分布外泛化能力。 RSI-PDE 相比单次基线提升通过率 106.5-181.9%,比原生框架提升 3.0-19.6%,并减少 46.9% 的模型调用次数。
研究人员构建了包含 21 个设计实例的开源基准,并开发了精确求解器 GEO-Exact。 该求解器证明其分配方案最优(相对原对偶间隙小于 $8.2 \times 10^{-16}$),平均耗时比启发式算法快 8.1 至 40 倍。 GEO-Exact 已开源,数据表明在标称间距下,滑动窗口启发式方法距最优解仅差 0.011%。
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
summary_zh: arXiv 论文发布 MDU,这是覆盖英文、法文等 5 种语言及 13 项任务的多语言文档理解基准,含 23146 个样本。 基准评测了 45 个 1.7B 至 235B 参数的开源 VLM 及 1 个商用系统,最高平均分仅为 69.0,仅 8 个系统超过 65 分。
Arena 排行榜等基于 Bradley-Terry 模型的偏好评估易受恶意操纵。 策略投票、策略提示和策略提名可将模型排名提升 15-20 位,组合使用最高提升 45 位。 此漏洞适用于所有允许开放提示、投票或模型提交的偏好评估框架。
研究通过合作卡牌游戏The Mind评估150名人类及计算机使用智能体、文本提示LLM在禁止显式沟通下利用时间线索的协调能力。 人类行为及前沿模型表现最符合推断伙伴信念的贝叶斯策略,但所有被测模型均未能随游戏进程高效适应用户伙伴。 研究发现暗示无实时体验也可能涌现隐式概率推理机制,凸显AI系统协调面临的新挑战。
提出多任务自进化框架,同一冻结模型既作 solver 又作 proposer 直接编辑自身 Harness。 从 49 行种子起步,GLM-5.3 和 GPT-5.6 Sol 在 5 个基准上提升约 5 分,达到或超越 Claude Code 与 Codex 表现。 在 5 个分布外基准上 GPT-5.6 Sol 表现与 Codex 持平,且进化出输出截断、历史压缩等机制。
LieDiscover 通过迭代符号搜索动态扩展函数库,显式识别无穷小生成元,克服了现有方法依赖预定义库或隐式表示的局限。 框架结合编码器-解码器架构与自适应 SVD 评估,利用强化学习生成简洁符号表示,在八个 PDE 基准上恢复高阶多项式等复杂对称结构。 恢复的生成元可用于基于对称的数据增强,提升了下游神经 PDE 求解器的精度与噪声鲁棒性。
该研究指出,委托AI审查存在对齐难题,提出“k-鲁棒联盟对齐”条件。该条件要求移除k个审查员后,委托人效用可表示为剩余审查员效用的非负组合,是保证策略不劣于基线的充要条件。 在折扣MDP中,策略安全性需满足全状态必要充分条件;实验表明,即使存在未对齐个体,集体审查在容忍部分否决时仍可保持可靠。
语义覆盖(Semantic Overlays)通过冻结模型的残差流编辑缓解提示注入攻击,无需修改输入文本即可标记不可信来源。 在 SEP 和 AlpacaFarm 等基准测试中,SEP 分离率从 24.3% 升至 98.8%,AlpacaFarm 攻击成功率从 99.0% 降至 0.5%。
WorldTrace 是一个免训练的内存框架,通过为每个摘要槽位分配独立的分布内虚拟位置,解决了视频世界模型在超出训练范围后因 RoPE 偏移导致无法可靠访问存储内容的问题。 该框架利用模型自身注意力决定保留或合并观测,构建有界可寻址内存库;在 LoopBench 基准测试中,其 DINOv2 召回相似度比滑动窗口提升 32.6%。
提出基于抽象语法树的定理证明智能体 AoA,将证明操作与状态融合,显著提升推理效率。 AoA 在 miniF2F 和 NTP4VC-Pearl 上较 Amazon's Isabelle Agent 降低 2.3--4.7 倍 API 成本,减少 3.9--8.9 倍工具调用。 AoA 已发表于 ICSE 2027,解决了更复杂的验证基准问题。
独立基准 BELLS-O 评测了来自 17 家开发商的 33 套 LLM 监管系统,联合衡量检测率、误报率、延迟和成本。 系统覆盖 11 类危害的内容审核、13 种攻击技术的越狱检测和提示词注入检测,内容审核运行重复 5 次并报告 95% 置信区间。
提出一种基于经验贝叶斯的多环境预测方法,通过学习潜在变量分布提升新环境下的泛化能力。 方法包含跨环境平衡项,并采用摊销变分算法进行后验近似。在模拟及真实场景中,该方法优于现有方法。
针对非高斯似然下积分拉普拉斯近似(ILA)导致的后验偏差,提出一种重要性采样修正方案。 该方案结合伪边缘化、准蒙特卡罗及随机化准蒙特卡罗技术,并通过自动微分框架支持 Hamiltonian Monte Carlo 算法优化超参数。
GAP通过数据、特征和模型三层对齐解决视觉潜在推理中的特征空间失配问题。在Qwen2.5-VL 7B上,GAP实现了最佳感知与推理综合得分,是唯一在所有对比中两项指标均优于基座模型的潜在方法。 该工作被NeurIPS 2026接收,代码已开源。
该方法将先验信息直接注入 Neural-ODE 参数,确保有限集预定义固定点在训练全程精确成立,无需罚项或事后投影。 输出矩阵通过 Moore-Penrose 伪逆(隐藏特征薄 QR 分解)参数化,分为约束确定分量和自由分量。 在 Lotka-Volterra 模型中,该模型在均衡点附近及长时间尺度上精度最高,测试误差比无约束网络低约 5 倍。
TRACED-X 结合蒙特卡罗模拟与神经网络,实现了胶质瘤患者体内细胞微结构与扩散参数的同步量化。 该模型通过训练神经网络回归器估算参数,利用8名患者的扩散数据拟合,参数分布与临床影像特征高度一致。 TRACED-X 有望在肿瘤治疗前后识别异质亚区,其相关参数未来将探索在临床上的应用。
提出无训练方法 MotionCFG,通过向运动嵌入注入高斯噪声构建负向条件,选择性放大 T2V 生成中的运动意图。 方法在理论上近似语义拉普拉斯锐化,抑制运动模糊区域;配合分段引导计划,以极低开销显著提升现有 SOTA T2V 框架的运动质量。 该方法已获 NeurIPS 2026 录用,并证明其原理可泛化以调节物体数量等复杂非线性概念。
研究提出 RADS 框架,通过采样时控制缓解文生图扩散模型的记忆现象,保持生成保真度。 该框架将去噪视为动力系统,利用策略条件可达性值函数估计记忆风险,通过约束强化学习在嵌入空间扰动轨迹。 实验表明 RADS 在多样性(SSCD)、质量(FID)和对齐(CLIP)上达到优于最先进推理时基线的帕累托前沿。
研究提出加权马修斯相关系数(WMCC)以解决 LLM 文献筛选评估中不平衡数据的误导性问题,并发布了实践建议 LLM4SCREENLIT。 在包含 9 个 LLM 和 34,528 篇文章的大型软件工程再分析中,基于 WMCC 的最佳模型仅丢失 5.8% 的相关证据,远优于 Accuracy 最佳模型的 63.3% 丢失率。
PAC Reasoning 通过构建性能损失上界和切换阈值,在分布无关前提下保证推理性能损失处于用户指定容差内。 该方法动态切换思考与非思考模式,在推理基准测试中节省计算预算并严格控制性能损失,已被 NeurIPS 2026 接收。
该教程详细推导了高斯过程(GP)增强预测模型中多步均值与协方差传播的公式,展示了其如何由全期望律和全协方差律得出。 文章区分了仅基于均值且无约束的 GP 预测控制与感知不确定性且受约束的 GP-MPC,并提供了实现指导。 通过移动机器人路径跟随和混合车辆编队案例,阐释了不确定性依赖的安全距离收紧等特性。
语义消融实验常因混淆内容敏感度与预测效用而得出误导性结论。 研究区分了语义内容敏感度与预测效用,指出预测效用随参考基准变化。 在25项语义消融比较中,仅1项明确隔离了语义贡献的预测效用声明具备清晰对照。
GeoPair 提出一种免训练框架,通过顺序优化跨层权重配对和共享字典分解,在保持各层激活几何结构的同时实现高效权重分解,并在多种架构、规模和模态上取得 SOTA 结果。 该方法替代启发式分组策略,结合结构化稀疏性,在保持功能保真度的前提下持续优于独立结构化权重分解和成对权重分解。 GeoPair 建立了可扩展、跨模态 Transformer 压缩的理论基础。
summary_zh: LILA 提出一种无数据结构化剪枝方法,利用 NMF 分解和 KS 距离评分神经元重要性,无需校准数据或梯度计算。 在 7 个模型家族(最高 70B)的评测中,LILA 在 LLaMA-2-7B 上零样本准确率比 PruneNet 高 2.12 pp,比 SliceGPT 高 6.1 pp;经 LoRA RFT 后优势更显著。
研究人员提出 MINT 模型,通过嵌入注入技术将支付网络预训练的交易嵌入与 LLM 结合。 该模型在数百万交易问答样本上完成指令微调,评估了零样本泛化与推理效率。 结果显示紧凑嵌入显著提升预测 QA 精度并降低 token 消耗,但序列化历史在抽取式 QA 上更具竞争力。
研究发现,大语言模型回测中传统的污染检查无效,因为模型对截止时间附近的时间敏感,导致近期数据泄露现象与真实能力难以区分,证明了被动回测无法剥离二者。 作者提出利用已知截止时间和匹配的干净对照来定位泄露,并据此计算泄露调整后的分数。 在包含植入泄露的孪生模型测试中,该估计器成功检测并定位了泄露,而在五个前沿模型的实测中,未发现显著泄露。
轻量级优化 LLM MiniOpt 通过推理建模范式与 RLVR 两阶段训练框架,在 8 个优化基准上持续超越现有学习模型,且参数与训练数据需求大幅减少。 引入参数解耦评估协议,表明 MiniOpt 在参数解耦设置下优化能力保持显著优于先前模型,证明其性能提升主要源于对优化结构的更强理解。 代码已开源,展示了迈向高效且具备泛化能力的优化专用 LLM 的有效路径。
稳定性边缘(EoS)并非全局优化属性,而是通过重分配学习来选择性塑造数据分布,放大部分群体进步同时抑制其他群体。 研究者通过分支干预证明这一权衡效应,识别出两个必要条件:群体聚合梯度需对齐Hessian最大特征向量,且需维持非消失的梯度幅度。 这表明EoS不仅是稳定性边界,更作为机制管理着学习在数据分布中的分配。
提出 DUNE 方法将深度神经网络神经元分解为更具单义性的子单元,设计上精确保持原始功能。 DUNE 直接应用于预训练模型,无需标签或辅助模型训练,在 DINOv2 等模型上实现单义性与功能保真度的 Pareto 前沿提升。 该方法支持概念特定的细粒度干预,如概念引导,显著推进了相关领域的解释性研究。
研究提出增强拉格朗日预测编码(PC-ALM),通过层局部拉格朗日乘子将权重更新对齐至反向传播(BP),在深度达128的非线性网络中匹配BP性能。 PC-ALM在深度窄网络中克服了传统预测编码的低效问题,并实现了跨深层网络的“弹道式”信用传播。该方法已被NeurIPS 2026接收。
研究将基准特定训练视为投票操纵,证明在Borda计数和平均胜率下该问题是NP难的。 针对MMLU和BBH数据集评估,平均胜率最难被操纵,BBH中其中位鲁棒性达22个任务。
研究表明最小过参数化使假设认证在多个类别中呈指数级困难。 在深度≥2 阈值电路中,增加单门即可使证书规模随输入维度呈指数增长;对数精度 Transformer 在恒定架构开销下亦有类似结果。 允许多项式错误仍需指数级证书,而常数相对误差保证可能掩盖指数级失败。
研究揭示稀疏混合专家(SMoE)模型中路由器与专家间存在几何耦合,即匹配方向积累相同的路由 token 历史。在 1B 参数 SMoE 中,较高路由分数预测了更强的专家神经元预激活;辅助负载均衡损失会破坏此结构,使不同路由方向相似度提升近 3 倍。
该研究提出首个利用学习的连续拉格朗日直接预测偏微分方程系统动力学的方法。 方法通过局部时空分块最小化平方欧拉-拉格朗日残差,结合雅可比迭代实现线性缩放。 在双摆和二维波方程验证中,其长期预测误差与经典辛方法相当。