BabelArena:用于 LLM 智能体的大规模多语言基准
论文提出 BabelArena,这是包含 16,146 个实例、覆盖 23 种语言的大规模多语言基准。 通过 BabelFlow 生成并验证任务,实验表明低资源语言中的智能体工具使用错误更多且 token 消耗最高达英语两倍。 该基准揭示了跨语言智能体能力差距,为多语言可靠性和效率研究提供基础。
论文提出 BabelArena,这是包含 16,146 个实例、覆盖 23 种语言的大规模多语言基准。 通过 BabelFlow 生成并验证任务,实验表明低资源语言中的智能体工具使用错误更多且 token 消耗最高达英语两倍。 该基准揭示了跨语言智能体能力差距,为多语言可靠性和效率研究提供基础。
研究人员提出 CRM-Agent-Bench,这是一个包含 555 个有状态多轮任务的执行型基准,覆盖九大业务领域和 36 个能力标签。每个任务配备基于动作、参数、顺序、响应及目标状态的专属可执行契约,成功定义为契约中声明检查项的严格合取。
研究团队构建 AusClinBench 基准,基于澳大利亚临床指南编写 142 道问题,测试 28 个大语言模型在盲测及提供依据条款下的表现。 盲测准确率介于 51.5% 与 92.7% 之间;在提供条款时,86% 的盲测错误得以纠正。置信错误率范围为 6.6% 至 47.8%,基准旨在评估模型对本地规则的掌握情况,而非授权临床使用。
Omni-UBench 提出首个全模态安全评估框架,基于 183k 样本和 35+ 异构来源,从安全性、效用及可靠性三方面评测 15 个全模态大语言模型。 测试发现现有护栏难以识别跨模态隐蔽有害意图,且存在大量安全幻觉及对文本模式的过度敏感。 研究揭示了跨模态安全语义理解的不足,为开发更可靠的全模态护栏提供洞察。
引入针对理论物理推理的活体基准 PHYRD,包含 63 道 Reproduce 和 43 道 Discover 题目。 五个模型在 Reproduce 任务上的全题准确率为 49.21% 至 68.25%,在闭卷 Discover 任务上为 18.60% 至 74.42%。
SCI-AGENT-EXAM 发布,这是一个包含 11 个科学领域、7 类研究任务及 120 个专家策展任务的流程导向基准。 该基准采用混合评估协议,结合确定性程序验证与 LLM 评审,并分析执行轨迹中的进度与稳定性。 对 10 个前沿 LLM 智能体的实验显示 GPT-6 Astra 以 80.9 分获最高总分,但仅 26.0% 的运行超过 0.95 成功率阈值。
MISCONCEPTDIALOGUE 框架在 5000+ 轮对话中对比评测 7B-14B 开源 LLM 数学导师。 基准 exact-match 仅 42.1% 成功率,而人类校准 LLM judge 达 81.3%,差距 39.2 个百分点,超过导师模型、教学策略和诊断信息的综合影响。 多判官收敛(kappa 最高 0.91)表明评分标准本身比模型能力更影响结果,评估需多标准多判官加人类锚定。
研究者推出 StemBind,一个包含 2,298 个知识轻量视觉题干、总计 19,533 个感知/规则/全题任务的共享题干诊断基准,用于定位多模态大语言模型在抽象视觉推理中规则到实例映射(S3 阶段)的失效环节。
将LLM高效基准测试重构为带特征选择的多元回归,用核岭回归替代现有预测方法能显著降低预测误差,MAE/RMSE均减小。 选用信息论特征选择算法mRMR挑选题目子集,可在不同随机种子下更稳定地选出相同的题目,且比概率模型/聚类等竞争方法更快。
针对通用人工智能(GPAI)模型评测报告普遍存在可复现性、可访问性和问责制不足的问题,研究者提出 EvalCards 框架。该框架基于对现有报告缺陷的综述,确立了关键维度并提供了简洁评测摘要的初步格式。EvalCards 旨在为未来评测报告标准的制定提供指导,提升评测报告的透明度与一致性。
研究提出 MirrorCraft 基准,用于评估 LLM 智能体在 Minecraft 规则隐藏变更下的表现。 该基准包含 10 个世界、6 套规则,通过 8,640 个回合测试 ReAct 等 6 种配置。 结果显示,隐藏规则变更导致各配置性能差异显著,提供精确规则仅带来有限提升。
summary_zh: MBABench-2.0 包含 101 项任务,最高难度耗时 33 小时,评测 20 个智能体在 8 个模型上的表现。 引入 129 项跨 12 类标准,超越单纯准确性,聚焦可读性、可维护性与可审计性。
Astro2Method 是一个包含 500 道经专家审核的二选一问题的基准测试集,覆盖 346 篇 2024 年 1 月至 2026 年 6 月间的天文学论文。
LGMT 是一款开源工具,通过基于一阶逻辑的变形关系检测 LLM 逻辑推理中的不一致性。它无需真实标签,生成逻辑等价的后继测试用例并对比模型蕴含预测。 该工具内置 20 种变形关系,支持 Z3 定理证明器验证自定义关系,提供 CLI 和 Web 界面。在 6 款常用 LLM 的 3,091 个基准测试组中,检测出的不一致率介于 20.84% 至 29.44% 之间。
Async-RBench 发布 200 个可执行任务,评测 LLM 智能体在异步场景下的处理能力。 基准引入动态重规划分数(DRS)与事件响应契约,涵盖 8 种场景并评估 9 个智能体。 测试显示 DRS 得分介于 19.2 至 45.1,且异步交付的平均任务成功率(26.0%)低于批处理(29.7%)。
TraceTrial-Bench 提出包含 95 个任务的新基准,用于评估 AI Agent 框架(harness)的可靠性与故障归因。 该基准涵盖上下文、执行、治理等七个组件,通过 3,420 次运行数据显示,框架得分在 59.8% 至 72.0% 之间,且 31.1% 的运行在框架失败情况下仍实现了任务成功。 其设计为对比框架、诊断故障及研究框架与模型交互提供了可审计且可复现的基础。
SWE-Shift 基准测试评估编码智能体在执行任务期间应对工作区动态变化的能力。 该基准包含 120 个场景、12 个变化族及 9 个干预点,成功标准包括完成当前任务、保留有效工作及满足状态检查。 对 17 个系统的测试显示,所有系统在“偏移”条件下的成功率均低于“干净”条件,且工具变更导致所有系统配对成功率为零。
PosterHarness将海报生成重构为可测量的指令遵循任务,通过占位符契约分离视觉设计与数据图形绘制。 该框架在12篇论文上实现合成图形从34降至0,并比较了与Paper2Poster在分辨率和速度上的权衡。 所有组件、提示词和审计脚本已作为可复用评估组件公开。
论文推出 ProductWebBench 基准,在 320 个变更任务和 80 个长期构建任务中评估前端编码代理的网站连续性。 基准基于 8,737 次运行和 13 个模型测试,发现 28.2% 通过目标检查的运行仍存在连续性故障,18.3% 破坏了已验证状态。 ProductWebBench 通过冻结快照和确定性检查,实现对动态系统中补丁影响的精确溯源。
DuoCook 基准基于 Unreal Engine 构建,包含 5 类共 20 张地图,由单一视觉语言模型控制双玩家完成烹饪任务。 测试 4 种 VLM,最强模型 gpt-6-astra 平均订单完成率 26.2%;添加笔记本记忆对 Claude/Qwen 有正向影响,对 GPT/Gemini 有负向影响。
研究评估了 KV-cache 修剪、推测解码、内核移植和量化在苹果芯片上的表现,发现其收益高度依赖硬件与负载。 KV-cache 修剪在苹果平台上最高可达 1.75 倍吞吐,但推测解码在单请求解码下反而降低性能。该论文已被 NeurIPS 2026 设备端智能(ODI)和 SLM 代理系统(SLM-Agents)研讨会接收。
提出一种基于对偶最优性的真值优先基准测试框架,通过预置认证最优值函数和策略进行评测,避免传统相对排名依赖奖励设计。 框架统一了敏感性基准测试和参考预言机比较模式,适用于串行平面机械臂和非完整车辆等任务,支持非仿射接口和部分观测评估。 该框架消除外部积分选择干扰,实现了对非平滑和部分观测任务的严谨评测,代码与诊断工具已公开。
研究提出 OPTICYCLE 和 OPTISTATE 两种轻量级推理框架,在无需额外训练的情况下,其表现优于六种适配的智能体工作流及四种经过后优化的同规模模型。
新基准 PLE 发布,旨在测试前沿大语言模型在执行物理工程师真实、可计费专业任务时的能力。该基准包含 85 个长程智能体任务,涵盖电气、土木、结构和机械工程领域,通过专家创作与对抗性“创作者-解决者”智能体流水线双路径构建。
研究将语音自然度解构为10个语言学感知维度,构建首个包含860条语音片段的TTS元评估基准。实验显示,MOS预测器更敏感于韵律和副语言声学属性,Audio-LLM裁判则呈现依赖提示词的选择性检测,偏好识别词级错误。两类模型均无法可靠捕捉广泛的语言结构语音错误,相关数据集与评估代码已公开。
研究者发布音频原生闭环评测基准 TORUS,用于评估统一音频模型的自洽性。 该基准包含 1053 道题目,覆盖 21 项任务及 8 种音频领域场景。 最佳统一模型仅能正确回答 52.4% 的自我生成问题,而 gpt-audio 回答率为 53.6%。
研究团队推出名为CARTE的多项选择基准测试,用于评估大语言模型对法国13个大区及12个主题领域的细粒度地理知识区分能力。该基准包含3132道题目,经过人工与模型混合的四阶段验证,并涵盖评估32个1B至30B开源模型及3个前沿API模型。实验结果显示,不同模型规模和区域间存在显著性能差异,揭示了预训练数据在国别内部地域变异上的覆盖缺口。
summary_zh: 研究团队推出评估大语言模型在科学论文中定位错误能力的基准 FLaWS,包含 713 个论文-错误对。 该基准通过 LLM 向已审阅论文中注入逻辑错误,使用自动指标衡量模型识别和定位错误的能力。
针对当前深度研究智能体未评估以视频为中心的研究报告生成的局限,arXiv 论文提出了 OmniDR-Bench 基准。该基准包含 50 个中英文任务、6,414 条原子评估标准,旨在测试视频定位、多模态证据检索及交互式报告生成。 在测试的 18 种智能体配置中,最佳系统得分为 63.3/100。结果指出当前智能体仍存在内容覆盖面不足、跨模态因果逻辑分析及引用准确性欠缺等问题。
研究提出 StateTrack-Bench 基准,发现大模型在长对话中出现“状态完整性崩溃”,即保留约束记忆但停止应用。 在 7 个模型快照上,联合保持率介于 62.4% 至 100.0% 之间;88.6% 的失败源于行为漂移而非遗忘。 结构化状态锚定(Structured State Anchoring)在不可变约束上最多可恢复 24.4 分,表明单轮遵循无法推断长程可靠性。
基于 9 种提示策略、4 个开权重评判模型及 27 种语言的 130 万份评分分析显示,提示策略效果不可跨模型迁移,且策略效应在不同评判模型间方向反转。 该研究在 13 个数据集上验证了金标准输出,发现低资源语言中稳定性下降,相关影响常被聚合报告掩盖。 结果表明提示效果受评判模型、任务及语言共同调节,建议对目标评估场景下的策略与配置进行独立验证。
研究团队推出TRIAD基准,用于评估多模态大语言模型在全模态歧义消解上的能力。该基准包含86个场景组中的327个手写查询,覆盖三种模态下的18类歧义。对14个全模态系统的测试表明,模型在组准确率上比人类低20分以上,且常忽视音频线索。该研究将评测焦点从识别转向歧义消解,为衡量相关能力提供了分类体系与诊断协议。
研究形式化定义并审计了编码智能体基准测试中存在的“规格-预言机”缺口,即测试依赖未在自然语言描述中说明的实现细节。 该静态审计工具在五种编程语言中识别依赖项,精确率达89.2%,召回率达92.9%。
研究使用 500 条 Arena-Hard v2.0 prompts 和 GPT-4.1 裁判模型,发现相同设置重跑时 21.2% 的样本胜负结果会改变,但总分仅波动约 1 分。 不同指令组合导致结果差异显著:某些简化指令使 28.2 个样本的结果改变且总分下降 4.09 分,而另一组指令则保持总分稳定。 稳定的总分掩盖了个体判决的可重复性问题,评估应同时报告总分与 prompt 级别一致率。
作者提出日语基准 JSFactCheckBench,该基准包含 1913 个源自社交媒体 LLM 回答的论断,明确定义了问题相关性、判断条件和证据来源。在六个 LLM 的测试中,所有模型直接回答问题的论断准确率均低于补充论断,这种差距常被总分掩盖。
研究显示编程语言显著影响编码智能体的 Token 消耗成本,且该差异在五个最新模型中表现一致。 通过 Python、Java、Rust 和 OCaml 的实验发现,智能体常在陌生语言中生成非编译代码,并倾向于用 Python 原型代替目标语言。 研究提出按语言进行 Token 效率基准测试,为多语言智能体开发提供指导。
研究提出人类中心评估协议,对比8个视觉语言模型与人类在可视化理解任务中的响应模式。 实验显示模型平均表现劣于人类,且错误模式与人类显著不同;尽管总体相关性较弱,该协议旨在筛选能模拟人类认知过程的科学模型。
P2NPCBench 基准测试显示,在对抗重写后的 NP 完备问题上,所有模型得分均低于其 P 类孪生问题(35.4% 对比 63.8% 通过率),95.1% 的模型族对均在 NP 侧失败更多。
研究提出操作级测量框架,以弥合大语言模型(LLMs)基础能力与 Agentic 能力间的差距,并发布在 $\tau^2$-Bench 上的实验代码与结果。 框架将模型表征为基础能力画像和交互轨迹生成的操作画像,通过定义能力实现差距,揭示了同等基础画像模型在执行表现上的显著差异。 实验表明,操作画像能补充信息并显著提升任务评分预测准确性,帮助在操作层面定位执行偏差。
研究人员提出 Omnilingual-MsASR,这是覆盖 6 种语言、最长 30 分钟及 20 位说话人的多模态长音频多说话人自动语音识别基准。 该基准提供并行音视频输入,用于评估模型跨模态一致性及利用互补线索的能力。 对领先全模态大语言模型的评估发现,其 tcpWER 常超 100%,凸显了时间定位与说话人区分等挑战。