跳到正文
10月9日周五
  1. arXiv · NLP31

    ExplorationBench:评估AI系统在可验证外星世界中的探索能力

    ExplorationBench 基准发布,通过可执行规则的外星世界环境,解决科学探索中假设验证与知识回忆区分难题。 包含 AlienCode(70 任务)与 AlienLogic(70 任务)两个沙盒,提供工具调用架构供 10 个 AI 系统进行探索与任务求解。 该基准推动了 AI 系统在未知环境中获取并应用新知识的能力评估,是迈向自主科学探索的关键一步。

  2. arXiv · NLP37

    OneMillion-Bench 评测语言智能体在专业领域的可靠性

    研究者推出 OneMillion-Bench 基准,包含 400 个专家级任务,覆盖法律、金融、医疗等五大领域。 评测要求检索权威来源并解决冲突证据,采用基于评分标准的协议衡量事实准确性与逻辑连贯性。 该基准统一测试了智能体在专业场景中的可靠性与实用准备度,已被 NeurIPS 2026 接收。

  3. arXiv · NLP24

    FA-Bench:面向强制对齐与 ASR 的音素及单词级时间戳准确性基准

    FA-Bench 发布统一评测框架,纳入 21 个开源模型与 9 个商用 API,采用基于容忍度的 F1 指标修正 MAE 导致的 9% 至 14% 分数膨胀。 该基准将边界按位置和邻词识别状态分组,发现 Whisper 系统性提前约 150 ms,多个商用 ASR API 延迟超 50 ms。 通过固定文本归一化与评分脚本,解决现有对比因数据分割和边界匹配方式不同导致结果无法直接比较的问题。

  4. arXiv · NLP35

    105个语言模型“选词”测试:46%模型选择Serendipity

    105个语言模型在96个开放式提示中,46%选择了“serendipity”作为“选一个词”的答案。 研究使用96个提示、每模型测试8次,发现大型实验室模型集中度不低于全领域,且轻微后训练模型更具发散性。 在共享类别中,模型群体比人类更集中,监督微调是向群体答案靠拢的最大步骤。

  5. arXiv · NLP41

    重新思考 LLM 评委可靠性:并非所有裁决都等价

    LLM-as-a-Judge 作为 NLP 评估标准范式,其系统性可靠性存在严重漏洞,裁决结果受位置偏差和温度设置显著影响。 研究对 6 个前沿模型进行审计,发现位置顺序交换会导致多数任务裁决反转,最确定性评委虽 100% 一致但与真值准确率仅 51%。 提出可信裁决率 T 指标,证明从成对胜率转向整体评分表能比单一提示词干预更显著提升评估可靠性。

  6. arXiv · NLP34

    TRACE 协议:诊断 LLM Agent 评估中验证器的脆弱性

    TRACE 协议通过针对性修改评估环节,将分数变化转化为可测试的诊断,以区分 LLM Agent 能力变化与评估误差。 在 25 个合成任务中,仅重命名工具导致脚本 Agent 分数下降 0.250;在 88 个新任务中,误导性工具名使所有 Agent 奖励降低 0.20-0.44。 单次运行比较无法区分呈现效果与运行间差异,15-36% 的任务结果在重跑时发生翻转。

  7. arXiv · NLP25

    UXBench Pro:多轮对话中个性化用户体验基准测试

    UXBench Pro 提出包含 1,000 个测试实例的用户体验基准,涵盖 12 个任务场景和 82 个领域。 该基准引入双视角范式,结合个性化用户奖励模型(URM)与 Sim4Eval 用户模拟器,并通过 URMBench 和 USimBench 验证评估可靠性。 实验结果强调用户建模和多视角评估的重要性,为个性化模型优化提供新视角。

  8. arXiv · NLP40

    SWE-Journey:面向长时程多轮交互的编程助手更真实评估基准

    研究团队提出 SWE-Journey 基准,旨在通过长时程任务和多轮交互更真实地评估编程助手。该基准结合弱到强合成管线生成任务,并基于四类用户画像构建模拟智能体重现交互。 结果显示模型在软件架构师场景下通过率超 75%,但在非程序员场景下低于 25%。分析指出,“问对、找对、改对”是当前助手辅助非程序员可靠编程的关键缺失能力。

  9. arXiv · NLP29

    临床医生使用大语言模型的方式与其评测基准存在偏差

    基于 35 个专科 8 个月内的 127,833 条真实查询分析显示,当前基准测试仅覆盖 31% 的实际任务组合,且多数基准未包含文档记录请求。 研究构建了临床 AI 基准图谱,发现前沿模型评测基准与实际临床工作相似度低于均匀分布,无法准确预测实际部署性能。 这表明基准分数难以反映临床 AI 在实际工作负载中的表现,评估体系需重新匹配真实的临床使用场景。

10月8日周四
  1. arXiv · NLP20

    ARCS 基准测试揭示 Text-to-SQL 歧义处理难题:gpt-6-sol 准确率仅 51%

    研究者提出 ARCS 基准测试,聚焦 Text-to-SQL 在真实数据库中的自然歧义场景,采用结构化消歧范式替代传统对话澄清。 实验显示歧义显著降低系统表现,gpt-6-sol 端到端执行准确率仅为 51%,而所有开源模型均不超过 27%。 该结果凸显了现有模型在复杂真实场景下处理细微歧义的能力瓶颈,为系统部署提出了明确挑战。

  2. arXiv · AI35

    PHRBench:LLM 后幻觉推理的行为评测基准

    研究团队发布 PHRBench,覆盖 4 个领域与 18 个 LLM,共 4820 个受控实例,用于刻画模型幻觉后的行为动态。 该基准定义幻觉顺从、幻觉规避与启发式修正三类轨迹,发现成功恢复较罕见,且轻量预测器以 0.847 AUROC 预测恢复成功率。 研究为理解 LLM 如何消解错误上下文提供了行为层面的视角。

  3. arXiv · AI31

    条件准确率画像:跨部署条件诊断 LLM 裁判

    提出条件准确率画像(CAP)框架,将 LLM 裁判成对准确率分解为内容敏感度、鲁棒性等八个条件维度。 该框架应用于 7 个 LLM 裁判和 6 个评测基准,在 judgerEva 上发现省略敏感度无法通过总体准确率预测。 CAP 揭示了聚合准确率掩盖的性能差异,为选择 LLM 裁判提供了比单一指标更具操作性的依据。

  4. arXiv · AI25

    DUDA-Bench:评估 LLM 智能体在多模态数据驱动城市诊断中的基准测试

    研究引入 DUDA-Bench 基准,形式化城市诊断为多阶段智能体工作流,涵盖 86 个原子任务和 22 个工作流任务。 该基准基于 12 个城市的五类城市问题多模态数据,评估 7 个骨干模型与 5 个智能体系统,揭示孤立分析能力与端到端诊断间的显著差距。 DUDA-Bench 提供将专家分析工作流转化为层级化智能体任务的框架,支持对端到端分析能力的系统性评估。

  5. arXiv · AI35

    GeoNatureAgent (GNA):工具型智能体在地学与环境任务上的预生产评估框架与基准

    GeoNatureAgent (GNA) 引入固定十六工具 MCP 接口与 103 任务基准,用于评估工具型 LLM 智能体。 Claude Sonnet 4 在 103 任务中取得最高能力得分 61.7%,DeepSeek V3.2 以 11.3 倍更低成本实现 93% 的能力,构成主要成本-准确率帕累托前沿。 MCP 服务器、评估框架与 API 已公开,可替换工具与任务集以适配任意地学领域。

  6. arXiv · AI42

    Humanity's Sixth Sense:多模态模型直觉视觉推理基准测试

    新基准HSS发现前沿多模态模型在直觉视觉推理上表现远逊于人类,人类准确率达93.1%,而最强模型GPT-6-astra仅为53.6%。 HSS涵盖图像与视频输入,通过人类撰写的提示词探测隐性的时间、空间及社会结构推理。引入智能体动态视觉操作虽缩小差距,但未能弥合与人类表现的根本鸿沟。

  7. arXiv · AI41

    Agent Plasticity:基于经验测量的自我改进

    研究提出 Agent Plasticity 指标,通过摊销过往经验为可复用 artifact 来评估智能体自我改进效率,考察性能提升及泛化能力。 该指标量化智能体将经验转化为未来 held-out 性能增益的效率,发现前沿模型改进轨迹差异显著,最终表现最优者并非改进效率最高者。

  8. arXiv · AI42

    双方面个性化大模型基准 SDR-Arena 与 SDR-Bench 发布

    论文提出 SDR-Arena 框架及 SDR-Bench 公开语料库,包含 50,000 个客户成功案例,用于评测双方面生成式个性化能力。 最佳模型 Claude Sonnet 4.6 在加权片段召回率(WCS)上得分 55.8%,且消融实验表明瓶颈在于检索而非推理。 两项针对专业 SDR 的研究验证了该指标,显示仅 48% 的生成话术无需编辑即可使用。

  9. arXiv · AI41

    PlaySuite:面向交互式视觉智能的大规模基准

    PlaySuite 提出包含 5000 余款开源游戏的大规模基准,用于评估动态环境下的交互式视觉智能。 该基准支持 Pygame、Godot 和 Unity 引擎,开发统一闭环交互框架,并采用 Video-LLM-as-a-judge 协议。 对 14 个开源模型的评估揭示了感知-行动差距,当前模型在空间定位和动作执行上表现不佳。

  10. arXiv · AI32

    ScienceClaw:跨自然与社会科学评测 AI 科学智能体持续自我进化的基准框架

    提出固定参数程序自我进化框架 ScienceClaw,将任务求解、科学验证与程序更新统一,旨在解决已验证执行难以转化为持久程序改进的问题。 基准评测集 ScienceClaw-Eval 覆盖 23 个学科,通过顺序任务流和独立重置评估,衡量科学正确性、进化收益、保留率、跨数据集迁移能力及进化成本。

  11. arXiv · AI31

    ChartBmkAgent:基于 Harness 治理的多智能体图表问答基准构建框架

    ChartBmkAgent 利用多智能体架构从稀疏错误分类规范生成图表问答样本,在 300 个样本中展示了 MLLM 准确率从 32.7% 到 84.3% 的差异。 其通过 Harness 治理确保样本对齐诊断目标,86.4% 的样本通过评估模型验证,实现了针对特定能力缺口的数据生成。 该方法缩短了基准开发周期,为调查多模态大语言模型的新能力差距提供了可定制的诊断证据。

10月7日周三
  1. arXiv · NLP31

    SubtleMemory: 面向长周期 AI 智能体细粒度关系记忆辨别的基准

    研究团队发布 SubtleMemory 基准,旨在评估长周期 AI 智能体在下游任务中对细粒度关系记忆的辨别能力。 该基准包含 1,522 个评测实例,基于 1,090 组关系控制记忆变体,涵盖互补、细微或矛盾的关系。 测试显示当前系统在细粒度关系记忆辨别上表现薄弱,该工作已被 EMNLP 2026 Findings 收录。