跳到正文
10月26日周一
  1. arXiv · NLP26

    AusClinBench:基于澳大利亚临床政策的大语言模型确定性评分基准

    研究团队构建 AusClinBench 基准,基于澳大利亚临床指南编写 142 道问题,测试 28 个大语言模型在盲测及提供依据条款下的表现。 盲测准确率介于 51.5% 与 92.7% 之间;在提供条款时,86% 的盲测错误得以纠正。置信错误率范围为 6.6% 至 47.8%,基准旨在评估模型对本地规则的掌握情况,而非授权临床使用。

  2. arXiv · NLP28

    Omni-UBench 基准测试全模态 LLM 安全护栏

    Omni-UBench 提出首个全模态安全评估框架,基于 183k 样本和 35+ 异构来源,从安全性、效用及可靠性三方面评测 15 个全模态大语言模型。 测试发现现有护栏难以识别跨模态隐蔽有害意图,且存在大量安全幻觉及对文本模式的过度敏感。 研究揭示了跨模态安全语义理解的不足,为开发更可靠的全模态护栏提供洞察。

  3. arXiv · NLP23

    SCI-AGENT-EXAM:针对科学研究任务智能体的基准测试

    SCI-AGENT-EXAM 发布,这是一个包含 11 个科学领域、7 类研究任务及 120 个专家策展任务的流程导向基准。 该基准采用混合评估协议,结合确定性程序验证与 LLM 评审,并分析执行轨迹中的进度与稳定性。 对 10 个前沿 LLM 智能体的实验显示 GPT-6 Astra 以 80.9 分获最高总分,但仅 26.0% 的运行超过 0.95 成功率阈值。

  4. arXiv · NLP26

    MISCONCEPTDIALOGUE 揭示 LLM 数学辅导评测标准决定结果:不同评分方法差距达 39.2 个百分点

    MISCONCEPTDIALOGUE 框架在 5000+ 轮对话中对比评测 7B-14B 开源 LLM 数学导师。 基准 exact-match 仅 42.1% 成功率,而人类校准 LLM judge 达 81.3%,差距 39.2 个百分点,超过导师模型、教学策略和诊断信息的综合影响。 多判官收敛(kappa 最高 0.91)表明评分标准本身比模型能力更影响结果,评估需多标准多判官加人类锚定。

  5. arXiv · AI33

    EvalCards 提出标准化评测报告框架以解决 GPAI 评测可复现性、可访问性与问责制问题

    针对通用人工智能(GPAI)模型评测报告普遍存在可复现性、可访问性和问责制不足的问题,研究者提出 EvalCards 框架。该框架基于对现有报告缺陷的综述,确立了关键维度并提供了简洁评测摘要的初步格式。EvalCards 旨在为未来评测报告标准的制定提供指导,提升评测报告的透明度与一致性。

  6. arXiv · AI32

    LGMT:用于测试 LLM 逻辑推理可靠性的开源工具

    LGMT 是一款开源工具,通过基于一阶逻辑的变形关系检测 LLM 逻辑推理中的不一致性。它无需真实标签,生成逻辑等价的后继测试用例并对比模型蕴含预测。 该工具内置 20 种变形关系,支持 Z3 定理证明器验证自定义关系,提供 CLI 和 Web 界面。在 6 款常用 LLM 的 3,091 个基准测试组中,检测出的不一致率介于 20.84% 至 29.44% 之间。

  7. arXiv · AI43

    TraceTrial-Bench:AI Agent 框架可靠性与故障归因基准

    TraceTrial-Bench 提出包含 95 个任务的新基准,用于评估 AI Agent 框架(harness)的可靠性与故障归因。 该基准涵盖上下文、执行、治理等七个组件,通过 3,420 次运行数据显示,框架得分在 59.8% 至 72.0% 之间,且 31.1% 的运行在框架失败情况下仍实现了任务成功。 其设计为对比框架、诊断故障及研究框架与模型交互提供了可审计且可复现的基础。

  8. arXiv · AI30

    SWE-Shift:评估演化工作区中编码智能体的基准测试

    SWE-Shift 基准测试评估编码智能体在执行任务期间应对工作区动态变化的能力。 该基准包含 120 个场景、12 个变化族及 9 个干预点,成功标准包括完成当前任务、保留有效工作及满足状态检查。 对 17 个系统的测试显示,所有系统在“偏移”条件下的成功率均低于“干净”条件,且工具变更导致所有系统配对成功率为零。

10月23日周五
  1. arXiv · AI45

    ProductWebBench:评估超越任务完成度的网站连续性

    论文推出 ProductWebBench 基准,在 320 个变更任务和 80 个长期构建任务中评估前端编码代理的网站连续性。 基准基于 8,737 次运行和 13 个模型测试,发现 28.2% 通过目标检查的运行仍存在连续性故障,18.3% 破坏了已验证状态。 ProductWebBench 通过冻结快照和确定性检查,实现对动态系统中补丁影响的精确溯源。

  2. arXiv · ML25

    苹果芯片 LLM 推理优化的适用性评估

    研究评估了 KV-cache 修剪、推测解码、内核移植和量化在苹果芯片上的表现,发现其收益高度依赖硬件与负载。 KV-cache 修剪在苹果平台上最高可达 1.75 倍吞吐,但推测解码在单请求解码下反而降低性能。该论文已被 NeurIPS 2026 设备端智能(ODI)和 SLM 代理系统(SLM-Agents)研讨会接收。

  3. arXiv · ML21

    基于对偶最优性的强化学习真值优先基准测试框架:从平滑全观测系统到非平滑或部分观测任务

    提出一种基于对偶最优性的真值优先基准测试框架,通过预置认证最优值函数和策略进行评测,避免传统相对排名依赖奖励设计。 框架统一了敏感性基准测试和参考预言机比较模式,适用于串行平面机械臂和非完整车辆等任务,支持非仿射接口和部分观测评估。 该框架消除外部积分选择干扰,实现了对非平滑和部分观测任务的严谨评测,代码与诊断工具已公开。

  4. arXiv · NLP20

    基于语言学维度的TTS自动评估基准揭示MOS预测器与Audio-LLM裁判的局限性

    研究将语音自然度解构为10个语言学感知维度,构建首个包含860条语音片段的TTS元评估基准。实验显示,MOS预测器更敏感于韵律和副语言声学属性,Audio-LLM裁判则呈现依赖提示词的选择性检测,偏好识别词级错误。两类模型均无法可靠捕捉广泛的语言结构语音错误,相关数据集与评估代码已公开。

  5. arXiv · NLP32

    CARTE:一个映射大语言模型跨法国区域知识能力的基准测试

    研究团队推出名为CARTE的多项选择基准测试,用于评估大语言模型对法国13个大区及12个主题领域的细粒度地理知识区分能力。该基准包含3132道题目,经过人工与模型混合的四阶段验证,并涵盖评估32个1B至30B开源模型及3个前沿API模型。实验结果显示,不同模型规模和区域间存在显著性能差异,揭示了预训练数据在国别内部地域变异上的覆盖缺口。

  6. arXiv · NLP20

    OmniDR-Bench:针对以视频为中心的深度研究报告的智能体评测基准

    针对当前深度研究智能体未评估以视频为中心的研究报告生成的局限,arXiv 论文提出了 OmniDR-Bench 基准。该基准包含 50 个中英文任务、6,414 条原子评估标准,旨在测试视频定位、多模态证据检索及交互式报告生成。 在测试的 18 种智能体配置中,最佳系统得分为 63.3/100。结果指出当前智能体仍存在内容覆盖面不足、跨模态因果逻辑分析及引用准确性欠缺等问题。

  7. arXiv · NLP33

    StateTrack-Bench 揭示长对话中 LLM 状态完整性崩溃特征

    研究提出 StateTrack-Bench 基准,发现大模型在长对话中出现“状态完整性崩溃”,即保留约束记忆但停止应用。 在 7 个模型快照上,联合保持率介于 62.4% 至 100.0% 之间;88.6% 的失败源于行为漂移而非遗忘。 结构化状态锚定(Structured State Anchoring)在不可变约束上最多可恢复 24.4 分,表明单轮遵循无法推断长程可靠性。

  8. arXiv · NLP20

    LLM-as-a-Judge 稳健性研究:提示策略效果依赖评判模型

    基于 9 种提示策略、4 个开权重评判模型及 27 种语言的 130 万份评分分析显示,提示策略效果不可跨模型迁移,且策略效应在不同评判模型间方向反转。 该研究在 13 个数据集上验证了金标准输出,发现低资源语言中稳定性下降,相关影响常被聚合报告掩盖。 结果表明提示效果受评判模型、任务及语言共同调节,建议对目标评估场景下的策略与配置进行独立验证。

  9. arXiv · NLP35

    TRIAD:多模态大语言模型全模态歧义评测基准

    研究团队推出TRIAD基准,用于评估多模态大语言模型在全模态歧义消解上的能力。该基准包含86个场景组中的327个手写查询,覆盖三种模态下的18类歧义。对14个全模态系统的测试表明,模型在组准确率上比人类低20分以上,且常忽视音频线索。该研究将评测焦点从识别转向歧义消解,为衡量相关能力提供了分类体系与诊断协议。

  10. arXiv · NLP34

    Arena-Hard LLM 评测中 GPT-4.1 裁判的稳定性与指令敏感性分析

    研究使用 500 条 Arena-Hard v2.0 prompts 和 GPT-4.1 裁判模型,发现相同设置重跑时 21.2% 的样本胜负结果会改变,但总分仅波动约 1 分。 不同指令组合导致结果差异显著:某些简化指令使 28.2 个样本的结果改变且总分下降 4.09 分,而另一组指令则保持总分稳定。 稳定的总分掩盖了个体判决的可重复性问题,评估应同时报告总分与 prompt 级别一致率。

10月22日周四
  1. arXiv · NLP40

    编程语言对编码智能体 Token 消耗行为的影响研究

    研究显示编程语言显著影响编码智能体的 Token 消耗成本,且该差异在五个最新模型中表现一致。 通过 Python、Java、Rust 和 OCaml 的实验发现,智能体常在陌生语言中生成非编译代码,并倾向于用 Python 原型代替目标语言。 研究提出按语言进行 Token 效率基准测试,为多语言智能体开发提供指导。

  2. arXiv · NLP32

    通过操作级测量框架弥合 LLM 基础与 Agentic 能力

    研究提出操作级测量框架,以弥合大语言模型(LLMs)基础能力与 Agentic 能力间的差距,并发布在 $\tau^2$-Bench 上的实验代码与结果。 框架将模型表征为基础能力画像和交互轨迹生成的操作画像,通过定义能力实现差距,揭示了同等基础画像模型在执行表现上的显著差异。 实验表明,操作画像能补充信息并显著提升任务评分预测准确性,帮助在操作层面定位执行偏差。

  3. arXiv · NLP35

    Omnilingual-MsASR:多模态大模型长时长多说话人语音识别基准测试

    研究人员提出 Omnilingual-MsASR,这是覆盖 6 种语言、最长 30 分钟及 20 位说话人的多模态长音频多说话人自动语音识别基准。 该基准提供并行音视频输入,用于评估模型跨模态一致性及利用互补线索的能力。 对领先全模态大语言模型的评估发现,其 tcpWER 常超 100%,凸显了时间定位与说话人区分等挑战。