DecompGym 基准测试 LLM 智能体设计分解算法能力
研究者提出 DecompGym 基准,包含 81 个实例,用于评估 12 款 GPT、Claude 和 Gemini 模型在编码智能体环境中设计 Benders 分解和列生成算法的能力。 评估要求求解器在 60 秒内运行且目标值误差小于 1%,结果发现反思机制可将重试成功率从 39% 提升至 66%,表明智能体需要过程检查与错误定位反馈。
研究者提出 DecompGym 基准,包含 81 个实例,用于评估 12 款 GPT、Claude 和 Gemini 模型在编码智能体环境中设计 Benders 分解和列生成算法的能力。 评估要求求解器在 60 秒内运行且目标值误差小于 1%,结果发现反思机制可将重试成功率从 39% 提升至 66%,表明智能体需要过程检查与错误定位反馈。
该研究提出 SkillCT 基准,通过静态、动态及人工辅助评估的九个维度全面刻画智能体技能质量。 针对现有基准依赖特定工具与重复执行的问题,论文构建了一种免执行质量评估基线,通过检索相似参考技能来预测未知技能的质量画像。 这种方法在保持评估一致性的同时显著降低了 token 消耗与评估时间,并证明了其用于技能优化与仓库维护的价值。
研究证明将任务分解给确定性主机可消除模型规模差异,实现“构建即持平”,9 个模型在子任务上表现一致。 该结论基于 4.94 亿参数本地模型至 Opus 级前沿模型的对比,无需针对特定任务微调或额外训练。
提出LLMON框架及后训练方法,实现指令与数据分离及显式标识符执行,通过4.6B token结构语料对Granite-4.1模型(3B和8B)进行监督微调及强化学习。 LLMON结构化监督将间接提示注入基准的攻击成功率从53-100%降至0.02-5.6%,同时保持通用能力。 方法无需修改架构,通过标准后训练教学执行语义,并引入基于注意力的可解释性指标诊断故障模式。
该研究构建含250道题目的惯性约束聚变基准测试,对比闭源、开源模型与专家定制模型Prospero。 Prospero经领域预训练和微调后,总分较基座模型提升10.7个百分点,但前沿模型在数值计算中仍存在关键物理错误。 研究表明领域专项能力可提升,但基准分数不能直接确立科学可靠性,需结合检索和专家评估。
GARDEN 框架提出了一种通用自主奖励设计方法,通过 LLM 为相关场景族生成单一奖励程序,并在未见场景保持不变直接迁移使用。该方法在 Overcooked 和 SMAX 基准上使任务收益分别提升 58.2% 和 52.5%,并将两个战斗场景的平均胜率从 51.0% 提高至 89.9%。
VerifiedLab 提出了一种多智能体框架,用于将验证后的科研记录转化为机器可用的知识库。框架由规划者、事实计算者等角色组成,通过逐字段验证数据可靠性后再发布内容。 该框架在钙钛矿太阳能电池领域实验中表现出色,能够恢复已知物理趋势并预测一年后续报告的器件性能。通过扩展推理时验证计算,验证了知识传播的新路径。
研究人员提出Seq@K评估协议,用于衡量模型在K次顺序尝试中利用反馈迭代解决问题的能力。 该协议在7个基准测试和16个前沿模型上验证,揭示模型排名常与Pass@K指标不同。 分析显示,反馈循环的设计对模型迭代精炼行为有显著影响,需纳入智能体系统评估体系。
研究提出先澄清需求的架构,发现相比后续审查,预先提问对保留用户意图的影响显著更大,且该结论在三个 AI 模型上均成立。 自动化安全修复常破坏既定行为,少量精挑细选的问题可恢复简短描述中遗漏的需求,相关工具与 600 个任务已开源。
研究评估了人工精选、LLM 生成及数据衍生本体在 Web 知识图谱上校验 LLM 智能体答案的效果,涵盖近 10^9 三元组公私数据。结果显示人工本体常将正确答案误判为错误,其精准度仅略高于随机标记,且与其自身数据存在矛盾。
研究者提出全自动框架 WebAnything,能够从 244 个真实 URL 重建可复用的网页智能体交互环境,并支持 12,984 个可执行任务。 该框架在三项保真度指标上全面优于人工辅助的 WebHarbor,且基于 5,856 条交互轨迹微调 Qwen3.5-9B 后,在 WebArena-Verified 上的任务成功率提升了 13.33 个百分点。
针对仓库级 SWE 任务中类别间收益此消彼长的“跷跷板”效应,论文提出一种类别感知专家训练与策略整合框架,无需外部模型提供解法轨迹。
该研究结合198篇精选文献与47,719篇已发表论文,通过文本嵌入和主题模型将领域划分为13个子类。 三大核心领域分别为LLM as Social Minds、LLM Societies及LLM-Human Interactions。 研究指出当前对LLM认知与社会行为底层机制的理解存在缺口,呼吁建立跨领域共享基准以夯实证据基础。
RePolicy-4B 提出了一种联合学习策略选择和安全评估的 Agent 安全防护方法,在六项基准中取得了领先的安全检测性能。 该方法通过随机化策略顺序和干扰项来减少捷径学习,并构建了包含 20,000 多条轨迹的 PolicyTraj-20K 数据集进行训练。 研究结果表明,安全防护系统能够自主学习判断 Agent 行为时应使用的具体安全要求。
CalibForge 利用验证求解器行为修正候选任务,构建 5,431 个校准终端任务。模型训练后在 Terminal-Bench 2.1 达 31.84% 和 47.57%。 验证比单纯创作更有效,最高提升 23.97 个百分点,支持求解器相对可学习性作为智能体数据构建目标。
研究揭示了搜索智能体在长时程轨迹中易受分轮次策略攻击的安全风险。 提出的 Authority-Chain Hijack (ACH) 方法在 SafeSearch 测试集上达到 55.9% 的整体攻击成功率。 进一步引入的 Trace-Guided Strategy Evolution (TGSE) 在留出评估中最高达到 95.0% 的 MaxN ASR。
研究人员提出 OMSO,利用强化学习替代昂贵的过程监督,通过求解器执行反馈实现优化建模。该框架支持跨 Gurobi、OR-Tools 和 COPT 求解器的泛化,无需重建特定数据集。在 NL4OPT 和 OptiBench 等基准上,OMSO 性能匹配或超越过程监督微调,支持零样本迁移。
多智能体系统在解决复杂任务时,其集体交互会导致无法归因于个体的涌现风险。 研究在竞争、协作及决策聚合等工作流中发现,合谋与盲从等现象会在现实约束下自发出现。 这些社会智能风险无法仅通过现有单智能体安全机制预防。
研究者推出多语言代码重构基准 SWE-Bench ProMax,包含 170 个来自真实代码提交的任务实例,覆盖 7 种编程语言。 每个任务平均涉及 11.5 个文件的修改和 261.6 行代码的变更,实验显示当前表现最佳的模型解析率仅为 41.2%,验证了该基准测试的挑战性。
summary_zh: 研究构建 human-in-the-loop AI 智能体,在 10 名学者场景下生成 TSBM 影响力摘要,双方评审接受或修改率为 81.7%。
研究引入 ContextEcho 基准,通过 25 项探针测试集和 57 个长会话语料,揭示前沿模型在数千步 Agent 交互中普遍存在早期人格漂移现象。 该框架采用“快照-探测”协议评估状态,发现会话内压缩无法重置漂移,但单次锚点可恢复原始助手人格;漂移前缀提升了工具调用保真度,却在无工具聊天中破坏了输出格式契约。
CHI-Bench 基准测试显示,当前最佳 AI 智能体仅能解决 28.0% 的长期医疗工作流任务,在严格 pass^3 标准下无一智能体得分超过 20%。 该基准涵盖 20 个医疗应用和 87 个 MCP 工具,任务基于 1,290+ 文档的管理手册,包含多角色交互和多轮对话。 单次会话执行所有任务时性能降至 3.8%,表明政策密集型领域存在类似自动化差距。
Anagent 提出一种多智能体框架,结合 AnaBench 基准测试,在科学图表分析任务中显著提升性能。 该框架包含 Planner、Expert、Solver 和 Critic 四个专用智能体,通过监督微调和强化学习优化。 在无训练设置下提升最高达 13.43%,微调后提升最高达 42.12%,涵盖 9 个科学领域的 63,178 个实例。
提出 LLM 辅助的两阶段在线对话欺诈检测框架,联合识别欺诈行为与概念漂移。 先以集成分类模型初筛可疑对话,再用单类漂移检测器 OCDD 分析漂移;有漂移时由 LLM 判断欺诈或正常话题转换,无漂移则推断为垃圾信息。 在社交工程聊天数据集上验证,提高实时欺诈检测准确率与可解释性,并对比双 LLM 基线。
VeriCUA 提出一种平台无关的验证框架,通过智能体探索将验证视为动态证据收集与评估。该框架在构建任务评分标准后,针对未解决需求选择 GUI 或代码检查,并依据显式证据规则综合结果。 实验表明,VeriCUA 在离线和在线设置下均优于基线,尤其在离线难题上表现更佳,并增强了对在线虚假完成声明的拒绝能力。
研究团队提出人类参与式多智能体组织(Human-Participatory Multi-Agent Organization)并实例化为Agentic University(AU),以协调学习者的目标、活动与评估。
提出“前缀可执行性”协议以评估工具使用智能体轨迹,定义前缀可执行性曲线(PEC)等指标。 在 BFCL-v3 和 ToolSandbox 等基准测试中发现,仅关注最终成功率会掩盖轨迹执行缺陷,显式的预执行计划检查能改善可执行前缀存活率。 该协议为诊断智能体失败和评估验证机制提供可操作的可靠性信号。
CEDAR智能体LLM在儿科2型与1型糖尿病队列中预测性能优于传统机器学习,综合AUC分别达0.815和0.756,在稀疏筛查结果上优势显著。 系统引用的70,246个数值中仅4个不匹配病历;两名儿科内分泌专家仅基于其引用证据和推理,在约90%案例中预测与CEDAR一致,专家间一致性为90.5%。
summary_zh: 研究者推出 CodeSpecWeave 框架,通过合成 4,670 个训练任务和 2,865 个代码仓库,显著提升了编码智能体在长程软件开发中的表现。
EpiAgent 为 LLM 智能体引入可学习知识论层,通过知识更新与行动规划双阶段自我博弈优化策略。 该框架将策略分解为基于交互历史更新信念及基于知识论状态选择行动,利用内在预测奖励评估信念推断。 实证结果显示其在混合与竞争场景下持续优于提示工程和强化学习基线方法。
该研究提出 AgentHeal 基准,用于评估网络智能体在面临访问障碍时,识别永久性阻碍、转向合法替代来源并保持用户原始目标的能力。 在涵盖九类障碍家族的测试中,主流 LLM 骨干的平均任务成功率从 89.4% 骤降至 43.7%。 分析表明智能体常陷入欺骗性相似源、未能适时升级求助、违反访问政策或浪费计算资源进行无效重试,为开发更具韧性的网络智能体提供了可操作诊断。
summary_zh: 研究人员提出了一种精简的智能体式视听问答(AVQA)工作流,通过修剪工具集将专用工具整合为通用模态工具。 该方法最终仅保留全模态字幕生成和全模态问答两个工具,在三个常用基准测试中达到了与专用工具代理相当或更高的准确率。
论文提出 World Reward Models (WRMs),让 Agent 直接预测哪个候选程序表现更好,避免预测执行结果带来的误差。 WRM 将 9B 模型适配至 5k 程序对,在 12,438 对测试中以 79.4% 准确率识别优者,优于通用 LLM 评委的 53-62%。 在 AIDE 等框架中,WRM 将平均任务耗时缩短 4.4-7.5 倍,且均值分数波动在 0.01 以内或有所提升。
SciGame 是一个将科学文献转化为结构化卡片的受控基准,生成包含相同任务界面的原环境与维度一致的反事实环境。基准涵盖历史定律及模型知识截止后论文组成的实时时序集合,在候选引导识别与开放式发现两种设置下测试智能体。 实验表明,在改变支配关系后熟悉的先验知识会损害性能;自适应实验对强模型有益但对弱模型有害;优秀的解释可能掩盖定量失败,恢复精确符号形式仍是主要瓶颈。
summary_zh: Metis-1.6 包含 Praxis(2.94B 参数)和 Logos(10.23B 参数)两个模型,均采用混合 Mamba-2 与注意力 MoE 架构,每 token 推理两次。
研究提出名为 PoPLi 的行为测试,通过对比伙伴与局外人智能体在消息改写后的行动差异,检测是否存在隐蔽合谋。在 5 种模拟市场条件下,存在代码时 PoPLi 数值为 0.48 至 0.59,无代码时为 -0.10 至 -0.01。该方法能有效区分消息监控未能识别的隐蔽私有通道,仅能检测基于代码的合谋,无法识别纯激励驱动或语义承载的合谋。
研究首次证明 LLM 预训练数据投毒可在 AI 智能体中植入远程代码执行后门。实验从零预训练 0.6B、1.7B 和 4B 的 Qwen3 模型并后训练为 CLI 智能体,仅投毒 0.1% 语料即可植入后门。 4B 模型在 0.1% 投毒率下攻击成功率约 92%,投毒率降至 0.0005% 时仍有效,且代码已开源。 该研究揭示了大规模网络爬取语料在模型安全层面的脆弱性。
OpenFrontiers 发布了一个包含 12,151 个问题的跨学科语料库和一个由 200 个问题组成的基准。 该基准包含 110 个已解决和 90 个未解决数学问题,每个问题都配有 Lean 4 形式化陈述。在 HQ-50 子集上,7 个 LLM 智能体在封闭书本条件下极少能重发现问题。 该资源为衡量研究级重发现能力提供了基础。
单个1B解码器通过中间层门控与同路径生成,端到端精确匹配得分为0.2619。 移除记忆使精确匹配下降24.7分,该模型耗时比匹配1B流水线少1.31-1.76倍。 1,144条人工评分显示其表现与1B流水线持平且低于8B模型。
rTaste 评估六个前沿模型作为研究智能体判断早期实验价值的表现。415 个最小可行实验中,194 个被审计为可靠、有价值且新颖,但仅 73 个被认为超越种子论文且非显而易见。 智能体的首选比随机选择更符合审计者高价值判断,但未显著优于选择首个提出的实验。其预测虽超过基准率,但与仅基于论文的新实例预测精度无可测量差异。团队协作成本更高,但未带来明显的提案质量提升。