跳到正文
10月14日周三
  1. arXiv · NLP29

    NLG 评测趋势 2020-2025 元分析:衡量什么?

    一项针对 3,334 篇 NLG 论文的元分析发现,LlaJ 使用率超过人工评测,但仅 8% 论文进行人工验证。 分析揭示三大系统问题:BLEU/ROUGE 指标惯性、通用自动指标缺乏明确评测维度映射,以及 LlaJ 在细粒度标准上与人类判断对齐度崩塌。 团队据此提出最小化“评估清单”,以指导指标选择、构念效度及 LlaJ 部署。

  2. arXiv · NLP28

    IFEvalCode:面向受控代码生成的多语言基准

    IFEvalCode 发布了一个包含 1.6K 样本的多语言代码生成基准,覆盖 Python、Java 等 7 种编程语言,并将评估解耦为正确性与指令遵循两项指标。 实验在 40 多个大语言模型上进行,结果显示闭源模型在受控代码生成任务中表现优于开源模型,且模型在正确生成代码与严格遵循指令之间存在显著差距。

  3. arXiv · AI45

    Autonomous Science Bench 发布:评估 AI 智能体在预算约束下的自主科学发现能力

    Autonomous Science Bench 发布 v0.1 版基准,包含 6 个基于生物、化学及材料科学的预算制设计-构建-测试-学习实验活动。 在 8 个智能体配置 144 次试验中,最佳配置成功率为 67%,最难活动 24 次仅成功 3 次。 该基准通过发现与学习双门槛机制,揭示了智能体在寻找有希望设计与预测未见设计表现上的不同弱点。

  4. arXiv · NLP28

    PRISM: 基于反事实探针校准黑盒评判模型

    PRISM 提出一种无评分标准(rubric-free)的协议,利用反事实探针校准大语言模型作为评判者时与人类判断的系统性偏差。该协议通过固定被评估内容,测量属性强调或弱化下的分数变化,并使用岭回归学习修正系数。在 SummEval 摘要和 HANNA 故事评估中,PRISM 显著提升了与人类排序的一致性,其校准效果与基于评分标准的方法具有竞争力。

  5. arXiv · NLP22

    Tanawpamana:基于菲律宾文化遗产的视觉语言模型评测基准

    研究引入包含 4,046 个任务的 Tanawpamana Benchmark,用于评测视觉语言模型对菲律宾文化遗产遗址的识别与知识。 实验评估了 7 个视觉语言模型,发现模型在区分相似遗产的细粒度视觉判别上表现较弱,且基于图像输入推断的地理知识弱于文本输入。该工作为衡量模型在欠代表地区文化知识方面的能力提供了基准。

  6. arXiv · AI39

    Sauron:基于证据优先的 Agentic 验证器

    Sauron 提出一种证据优先的 Agentic 验证器,在 2,586 个人工标注标准上以更低成本实现最高 F1。 采用有界查询和联合调查机制,支持 GPT-5.6 Sol 时 F1 达 0.96,成本比基线低 23%。 在 13 类故障注入测试中检测出 97% 失败,TRAIL 基准三项质量指标均领先基线。

  7. arXiv · AI34

    RoTA-Bench 评估视觉语言模型的 3D 空间推理能力

    RoTA-Bench 通过交互式 3D-2D 投影对齐任务评估视觉语言模型的空间推理能力。基准包含 674 个任务及 100 个分层测试集。 实验显示 GPT-5.6-Sol 成功率仅 17%,显著低于人类参与者。移除交互历史后,模型 96.8% 的操作停留在 30 度粗粒度步长。 研究揭示了将视觉证据转化为精确 3D 控制能力仍具挑战性。

  8. arXiv · AI34

    PhysCodeGym:面向物理可验证 4D 重建的编码智能体基准测试

    PhysCodeGym 发布 156 项任务,涵盖刚体、液体、可变形及风驱动运动,用于评估编码智能体的物理可验证 4D 重建能力。 智能体通过编写运行 Blender 程序并利用模拟反馈进行迭代,结合规则化度量与评分标准制判断六个指标。 实验揭示推理努力设置下产物质量与完成度的权衡,反事实测试暴露出通过常规检查的重建中潜在的接触与支撑失效问题。

  9. arXiv · NLP35

    TrialPD-Bench 与 TrialScribe:长文档编码代理在临床试验方案数字化中的表现研究

    研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。

  10. arXiv · AI35

    AuthGateBench:首个面向良性请求的LLM授权门控基准

    AuthGateBench发布了1400个实例,涵盖5种源自Claude Code真实事故的失败模式。该基准采用LLM生成对比对的流水线,通过保持动作与轨迹相同但改变请求来翻转标签,以评估模型是否基于上下文而非单一动作进行推理。实验显示模型在明确授权时仍常阻止动作,决策不稳定;但回顾性检索的环境信号可显著提升授权准确率。

  11. arXiv · AI33

    UnCoBench:测试 LLM 多智能体与不可靠同事协作的基准

    针对 LLM 多智能体协作中“完美同事”假设的缺陷,研究者推出了 UnCoBench 基准。该基准将行为失败划分为偏离、不完整和缺失三种设定,要求主智能体验证上下文正确性并诊断信息缺口。 测试覆盖十个模型,结果显示即使在可靠设定下表现相似,模型在不可靠证据下的鲁棒性也存在差异。trace 分析表明,当前模型在纠正后续步骤、高效等待及减少冗余查询方面仍有不足。

  12. arXiv · ML22

    PATTERN 基准测试揭示图神经网络依赖记忆而非泛化

    PATTERN 基准中,无参数查找器在复用模式上达到 99.2% 准确率,远超最佳模型的 89.8%。 在新鲜模式测试中,CKGConv 和 GRIT 表现低于无模式预测器;加入新模式训练可使 CKGConv 准确率提升约 2 个百分点。 建议合成基准报告新鲜模板分数、生成器基线及指标加权方式,以揭示模型真实泛化能力。

  13. arXiv · NLP44

    ANCHOR 基准评估仓储级编码智能体的工程约束遵循能力

    研究提出 ANCHOR 基准,用于评估仓储级编码智能体在修改范围、工作流顺序及工具使用等维度的工程约束遵循能力。该基准涵盖 8 个语言组、10 类约束及 358 个任务。 在 19 种智能体配置中,Claude Opus 4.8 结合 Cline 达到 70.1% 原子合规率。结果表明功能性成功与约束合规存在显著差异,失败主要集中于工作流排序及报告生成。

  14. arXiv · AI36

    EvoCowork: 面向真实办公任务的基准测试

    提出 EvoCowork 基准,评估智能体在固定权重下处理 240 项办公任务的递归自改进能力,涵盖演示文稿、文档、表格及跨办公工作流。 最佳配置整体得分 42.25,跨办公任务得分 30.62;ACE 和 AHE 方法在同域提升 4.90 和 2.64 分,但跨办公任务仅变化 +0.03 和 -1.72 分。

  15. arXiv · AI40

    ASIWorld:在持久生存沙盒中评估自主智能体的基准测试

    研究团队推出 ASIWorld,一个结合持久世界状态与可观测性限制及异步编程接口的生存沙盒基准,用于测试智能体在长时交互中执行相互依赖任务的能力。 在探索性研究中,九种智能体配置使用统一测试框架运行,其中八种完成了生产任务,六种同时完成了生产与探索两项任务。 执行轨迹分析表明,准备不足会导致进度停滞,而成功完成任务的配置在生存成本和额外成就达成率上存在显著差异。

  16. arXiv · AI22

    如何构建真正衡量品味的基准测试

    研究人员提出 TasteBench,一种包含视觉、品牌等四类项目的双样本对比基准,旨在区分真实的品味判断与测试作弊行为。 在 n=250 的试点测试中,发现始终选择位置 A 的策略得分为 0.956,且五个 VLM 模型在工艺领域均达到满分 1.0。 该基准指出位置偏差和文本泄露可通过工具修复,但工艺领域的难度天花板需在未来版本解决。

  17. arXiv · NLP46

    UDHRBench:大语言模型人权基准测试

    研究者发布 UDHRBench,包含 1,124 个人权对抗问题及 4,496 条来自 ChatGPT、Grok、Gemini 和 Fanar 的回答。专家标注显示模型通过理性推理出现非显性违规,Cohen's kappa 为 0.801。 提出的 LLM-as-a-Judge 框架零样本及少样本提示下加权 F1 达 89.8%。数据集、标注及代码将作为开源资源发布。

  18. arXiv · AI20

    ACED-Bench 评估 LLM 智能体获取因果证据并据此决策的能力

    ACED-Bench 发布了一个神经符号基准,用于测试大语言模型智能体在科学场景中选择实验、解读有限证据并进行因果决策的能力。 ACED-CORE 包含 180 个任务(60 个因果关系问题与 120 个受约束因果决策任务),ACED-QUAL 含 150 个是/否资格检查;研究评估了 7 款当代 LLM 和 2 款早期模型在三种主动智能体设计下的表现。

  19. arXiv · AI47

    LHTB 2.0 扩展任务规模至 77 项并评估 15 个前沿模型的持续智能体表现

    LHTB 2.0 包含 77 个任务并覆盖 13 个领域,评估时间窗口从 90 分钟延长至 3 小时,每 30 分钟记录验证点。 在 15 个前沿模型的 1145 次运行测试中,GPT-6-astra 以 0.69 的平均密集奖励位居首位,GPT-5.6-sol 紧随其后得 0.67 分。 该基准显示仅关注最终结果的评估会忽略大量中间进展,为研究数小时级别的可靠智能体执行提供了过程感知的测试床。

  20. arXiv · AI35

    智能体数据科学评估中的隐性失败:方法学与领域知识缺失分析

    大规模分析 220 个任务,发现多数智能体方案存在数据泄漏等失败模式,且数据泄漏与预测性能正相关。 定性对比 Kaggle 竞赛专家方案,显示数据科学智能体普遍缺乏问题解决创造力及领域知识。 文章主张将失败模式分析纳入评估体系,以推动可信智能体数据科学流水线的开发。

10月13日周二
  1. 商汤科技SenseTime23

    商汤小浣熊多榜第2,月增量超1500万

    量子位智库《AI应用月报》9月榜单显示,商汤小浣熊在用户规模与访问增长等多维度表现亮眼。 产品连续两个月在Agent办公智能体月访问量增量榜居第2,Web端月独立访客数综合类套件保持第1,平均使用时长排名升至第1。 这反映了其全场景办公能力获得持续认可,帮助职场人更高效处理复杂任务。

10月12日周一
  1. arXiv · AI48

    当前 AI 基准测试遗漏维度:ChatGPT 模态、搜索、引用与安全评估研究

    针对 ChatGPT 模态与基准测试的研究发现,开启网络搜索可使模型准确率最高降低 8 个百分点,且重复测试中高达 21% 的提示词产生不一致回复。 研究分析了 401 个提示词与 4,812 次响应,对比了 Chat UI 与 API 在 BBQ 和 SafetyBench 上的表现,并发现不同模态的引用来源和拒绝回答行为存在差异。