InFlowOp:无标签的流内多智能体工作流优化
研究者提出 InFlowOp,用单一无标签成本为多智能体工作流的每个决策定价,在执行前双向确定任务分解粒度与智能体分配,执行中按同一成本以最低代价纠错。在跨领域与不同骨干模型上,InFlowOp 较单智能体基线最高提升 +11.97%,流内优化带来 +9.64% 增益。
研究者提出 InFlowOp,用单一无标签成本为多智能体工作流的每个决策定价,在执行前双向确定任务分解粒度与智能体分配,执行中按同一成本以最低代价纠错。在跨领域与不同骨干模型上,InFlowOp 较单智能体基线最高提升 +11.97%,流内优化带来 +9.64% 增益。
研究者推出 EnterpriseBench,用于评估 LLM 智能体从静态问答到动态决策的企业级能力,涵盖 Consulting、Beer Game 和 Enterprise Digital Twin 三个交互场景。
研究者提出 SWE-Prometheus,一个面向仓库工程治理改进的基准,包含 60 个仓库,通过配对证据、干净环境探测、行为门控和两位独立教师评分评估六个治理维度。
针对多数企业 GenAI 项目难以体现可衡量业务效果的问题,研究者提出 EnterpriseVal 用例级评估系统,将指标向量与置信区间映射为 REJECT/CONDITIONAL/SCALE 三级决策。
腾讯混元联合北京电影学院、北京大学、深圳大学发布 DramaChain Bench,称其为首个评估短剧完整生产链每一阶段的基准,覆盖从剧本、分镜、关键帧图像、镜头级视频到成片的五个环节。
一项对 29 个 LLM 在 HLE 纯文本多选题子集上的心理测量分析发现,HLE 由单一通用推理因子主导,领域标签仅解释题目响应主成分 3.5% 的方差。 拟合双参数逻辑 IRT 模型后,域内与域间残差相关性几乎相同(Cohen's d = 0.016);测试信息函数显示测量精度集中在中等能力水平,在 θ = 0 以上急剧下降。
Cura 1T 是一个通过递归自我改进(RSI)训练的医疗基础模型,在 6 个医疗基准中于 MedAgentBench、HealthBench Professional、HealthBench Hard、MedXpertQA text 和 AgentClinic 上得分最高,在 MedXpertQA 多模态上排名第二。
针对人类编写的基准测试饱和、超人类能力难以评估的问题,研究者提出基于相对测量的新范式:由模型生成能区分其他系统的公开挑战,聚合结果形成可随被测系统扩展的对抗式心理测量评分系统。 论文描述了减少私有信息攻击动机、支持无裁判裁决的实用协议,并在可验证与开放式不可验证领域实例化该框架。 该框架展示了模型生成评估如何持续测量超越人类前沿的系统。
研究提出一种基于 LLM 的语义判据,要求 Lean 编译通过且 GPT-5.2 与 Gemini-2.5-Pro 判断一致,在独立审计样本上与人类多数意见吻合率达 91.5%。
研究评估了 13 个通用 LLM 与安全专用评审器的安全评判能力,发现 LLM 评审器虽能从新信息中学习,但当上下文或安全定义偏离其内部先验时,普遍不会更新评估结果。
研究者提出 EnvSimBench,首个对"环境模拟能力"(EnvSim Ability)进行形式化定义的基准,覆盖 167 个环境、400 个样本,并带可验证标签与三维难度分层。
研究者提出 UnivEARTH 编码基准,用 408 道来自 NASA Earth Observatory 的是/否问题测试 LLM 智能体能否可靠完成地球观测任务,覆盖 7 个主题、超过 15 种卫星仪器与数据源。
研究在五个非公开软件环境中评测开源与闭源 AI 模型的漏洞利用生成与修复能力,其中包含私下披露、当时仍未修补的漏洞,评分由研究者开发并复核的确定性评分器给出,而非 LLM 评判。
Odyssey 是一个面向长时程驾驶的闭环基准,包含 100 个场景,每个场景由 100 秒的 nuPlan 驾驶日志重建,用于评估端到端驾驶中早期决策对后续行驶的影响。
研究者推出 SpatialChain 基准,用 28,350 条训练和 899 条测试样本,将 GQA 空间问题与场景图推理链配对,并采用链重叠指标与场景图感知 LLM 评判的双轴评估,审计 VLM 空间推理的忠实度。
研究者推出 SWE-CC 基准,用于评估自主编程智能体在代码与流程上对代码仓库贡献规范的遵守情况,发现智能体虽能生成功能正确的补丁,却违反了 43.1% 的适用项目规范。
研究对 Chatterbox、CosyVoice、OmniVoice 和 VoxCPM2 四款现代 TTS 系统在土耳其语上进行系统基准测试,覆盖微调与零样本配置,并以 VITS 为基线、自然语音为参照。
研究提出 OR-Bench 细粒度基准,覆盖旋转检测、旋转幅度估计与多视角旋转推理八项任务,测试 12 个 VLM 发现最强模型检测准确率接近 100%,但粗略幅度估计仍接近随机水平。
一项针对传统中国八字的基准测试发现,六个语言模型在理论题上的准确率全面高于案例题,排除无效回答后差距仍达 16.60-29.56 个百分点。 该基准包含 3,000 道中文多选题,覆盖 14 个理论类和 11 个案例类,主结果基于 2,492 题的精炼集;十二长生与纳音平均准确率分别为 89.10% 和 88.62%,而事业与六亲仅 36.98% 和 38.19%。
研究者推出 UndoBench 基准,覆盖 8 个企业领域的 36 个基础工作流与 36 个故障场景,通过相同随机种子下的反事实配对试验,将任务能力与故障恢复能力解耦评估。
TasteVal 是评估前沿模型实验研究品味的基准,定义为迭代设计实验并得出结论的能力。 最佳模型 Opus 5.5 超越人类专家基线,计算倍数为 2.3x,成本约为基线者的 1/30。 自 2025 年 12 月起,前沿模型的计算倍数值每 3.0 个月翻一番,旨在推动 AI 进展预测。
研究团队推出 MechHypoBench,这是首个专门评估 AI 智能体能否从经验数据生成数据驱动机制假设的基准。该基准融合了 14 个科学领域的机制与包含 1798 万条记录的真实数据集。 实验通过检验假设在保留条件下的后果进行评估,结果显示当前通用 AI 智能体生成的假设与真实机制之间存在显著差距。
summary_zh: Jev 1.13 是一款非生成式“系统一”模型,在 4 项医学基准测试中表现不一。 在 PubMedQA 上准确率 78.4%,与 GPT-6 Sol 持平;但在 NEJM Case Challenges 上仅 61.8%,远低于 GPT-6 Sol 的 82.4%。
研究团队发布 BIRD 基准测试,旨在为基于 LLM 的迭代奖励设计提供统一配置与评估空间,解决现有方法难以直接比较的问题。 该基准在 MuJoCo、Meta-World、Assistax 和 HumanoidBench 环境中评估发现,少量简单的设计选择组合即可显著优于此前已发布的各类方法。 BIRD 基准测试突出了简单基线的强大性能,为后续研究何时需要更复杂的算法复杂度提供了依据。
GitHub 发布 ReviewBench,这是一个用于评估 AI 代码评审智能体的离线基准,包含 219 个来自 19 种语言的公开拉取请求,并基于 1.039 亿个 GitHub 拉取请求的分布特征构建。
arXiv 论文提出 MintEval 基准,用于评估 LLM 将自然语言交易指令转化为可执行代码时的行为一致性。基准包含 800 个 BTCUSDT 15 分钟数据任务,通过逐 bar 对比实际交易动作而非利润或代码相似度来衡量正确性。
研究人员推出 VisAudit 基准测试,用于评估多模态智能体在图表渲染中的缺陷诊断、代码修复及验证能力。该基准包含 1,900 个带缺陷样本、300 个初始正确图表,覆盖 21 种图表类型及 10 种缺陷类别。实验显示,最强模型在自主修复任务中仅能完全恢复 47.4% 的有缺陷图表,暴露出自主审查能力的显著不足。
基准测试 ArrivalBench 发现,单次运行验证的 Agent 数据管道在重放非理想交付时序时存在 7.0% 至 79.2% 的隐蔽错误率,远超其单次测试的认证通过率。 该研究区分了隐蔽的错误表结果与可监控的崩溃,指出提示幂等性风险虽能将某模型的隐蔽失败率从 48.2% 降至 10.5%,但会导致其崩溃率从 9.0% 激增至 37.0%。
研究人员发布 PowerBench,评估 24 个语言模型在权力转移请求中的偏见。实验显示模型拒绝“权力攫取”多于“权力剥夺”,且拒绝率随受影响方规模扩大而上升。模型偏向协助他人从美国夺取权力,但支持美国在不造成他人损失时获取权力。
研究者提出 SovereignNegotiation-Bench,这是一个包含 1,764 个成对场景的基准测试,用于评估个人 AI 智能体在委托谈判中的五项法律责任。在测试的 17 个开源模型中,忠实成功率(faithful success)介于 6% 至 75% 之间,且 48% 的协议至少违反了一项义务。该基准代码、场景及日志将开源发布。
VTBench 是一个专为评测视觉分词器(VT)的基准,覆盖图像重建、细节保留和文本保留三个核心任务。实验发现连续变分自编码器(VAE)在视觉表示上优于离散视觉分词器。该研究代码和数据集已公开,并被 AACL-IJCNLP 2026 接收。
研究发现自动 Harness 进化在 Terminal-Bench 2.1 上无法超越简单测试时缩放基线,且泛化能力有限。 但在长程博弈场景中表现优异,ARC-AGI-3 提升 80.0%,EdgeBench 提升 10.9%。 这凸显了在匹配预算和留出集评估下区分真实改进与过拟合的必要性。
该研究提出了“意图-执行”间隙概念,指出 AI Agent 性能受限于模型假设与执行框架(harness)行为的匹配度。研究开发了可定制框架 Simple Strands Agent (SSA),旨在捕获跨模型族的通用模式及特定偏好。
TPRS指标揭示了安全基准中代理可见表示的变化会显著影响攻击成功率(ASR),其结果不具备跨表示的泛化性。在Agent Security Bench上,将威胁相关工具名称替换为中性名称后,GPT-5-mini的ASR上升11.67个百分点,Claude Haiku 4.5上升13.21个百分点。该发现表明,单一表示下的安全得分存在局限性,评估鲁棒性需在受控的威胁保持表示集合中验证。
研究团队推出 SyntaxBench,这是一个针对大语言模型字符级推理能力的诊断性基准与统计评估框架。该框架包含字符计数、回文检测等五项核心任务及一项子串提取压力测试,在 2B 至 32B 参数规模的八个开源权重模型上进行了评估。 评估结果显示,分词方式显著影响准确性,且推理模式并非总是有益;其中 index_to_span 任务表现最差,最佳四样本精确匹配准确率仅为 6.75%。
WebFovea 视觉网页智能体在 WebRetriever Challenge 2026 中获第二名,最终得分 57.0。 系统通过加固模型与浏览器间的代码回路,修复坐标偏移、原生控件失效及 token 污染问题。 使用相同模型时,优化 harness 使隐藏集得分从 31.0 提升至 57.0。
WebUIProof 是一个面向执行过程的基准测试,通过结构化规范和密集的可执行交互测试评估 WebUI 代码生成器,覆盖通用 WebUI 和 3D 交互模拟两大类任务。
研究团队推出 OpenGameEval 基准,用于在 Roblox Studio 中评估 AI 智能体的编程与探索表现。该框架对 13 个前沿模型进行测试,最优模型在 84 个核心任务中的单次通过率仅为 51.7%,且六项任务无一模型能解决。探索行为直接预测成功率,深入检查所有相关对象的运行通过率比不检查的高出 13.4 个百分点。
研究提出 AlgoREval 基准,包含 599 道题目、覆盖 77 种经典算法、14 个领域、7 种编程语言及 4 种图输入表示,用于隔离评估 LLM 的参数化代码检索能力。 在零样本设置下评估了 15 个 7B 至 34B 参数模型,发现不同语言和输入表示间检索准确率存在显著差异;检索增强能提升复杂算法准确率,SFT 带来更广泛的语言收益,GRPO 在特定语言上收益更大。
SimuVerity 提出包含 101 项文本到可执行 Simulink 模型生成任务的基准,覆盖十个工程领域。该基准通过分层评估器检测交付、可执行性与工程资格,并从准确性等六个维度对合格模型打分。在评估的六个智能体系统中,最佳系统的综合得分仅为 42.86,显示结构相似性并非工程性能的良好替代指标。