跳到正文
10月14日周三
  1. arXiv · NLP22

    Tanawpamana:基于菲律宾文化遗产的视觉语言模型评测基准

    研究引入包含 4,046 个任务的 Tanawpamana Benchmark,用于评测视觉语言模型对菲律宾文化遗产遗址的识别与知识。 实验评估了 7 个视觉语言模型,发现模型在区分相似遗产的细粒度视觉判别上表现较弱,且基于图像输入推断的地理知识弱于文本输入。该工作为衡量模型在欠代表地区文化知识方面的能力提供了基准。

  2. arXiv · AI39

    Sauron:基于证据优先的 Agentic 验证器

    Sauron 提出一种证据优先的 Agentic 验证器,在 2,586 个人工标注标准上以更低成本实现最高 F1。 采用有界查询和联合调查机制,支持 GPT-5.6 Sol 时 F1 达 0.96,成本比基线低 23%。 在 13 类故障注入测试中检测出 97% 失败,TRAIL 基准三项质量指标均领先基线。

  3. arXiv · AI34

    RoTA-Bench 评估视觉语言模型的 3D 空间推理能力

    RoTA-Bench 通过交互式 3D-2D 投影对齐任务评估视觉语言模型的空间推理能力。基准包含 674 个任务及 100 个分层测试集。 实验显示 GPT-5.6-Sol 成功率仅 17%,显著低于人类参与者。移除交互历史后,模型 96.8% 的操作停留在 30 度粗粒度步长。 研究揭示了将视觉证据转化为精确 3D 控制能力仍具挑战性。

  4. arXiv · AI34

    PhysCodeGym:面向物理可验证 4D 重建的编码智能体基准测试

    PhysCodeGym 发布 156 项任务,涵盖刚体、液体、可变形及风驱动运动,用于评估编码智能体的物理可验证 4D 重建能力。 智能体通过编写运行 Blender 程序并利用模拟反馈进行迭代,结合规则化度量与评分标准制判断六个指标。 实验揭示推理努力设置下产物质量与完成度的权衡,反事实测试暴露出通过常规检查的重建中潜在的接触与支撑失效问题。

  5. arXiv · NLP35

    TrialPD-Bench 与 TrialScribe:长文档编码代理在临床试验方案数字化中的表现研究

    研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。

  6. arXiv · AI35

    AuthGateBench:首个面向良性请求的LLM授权门控基准

    AuthGateBench发布了1400个实例,涵盖5种源自Claude Code真实事故的失败模式。该基准采用LLM生成对比对的流水线,通过保持动作与轨迹相同但改变请求来翻转标签,以评估模型是否基于上下文而非单一动作进行推理。实验显示模型在明确授权时仍常阻止动作,决策不稳定;但回顾性检索的环境信号可显著提升授权准确率。

  7. arXiv · AI33

    UnCoBench:测试 LLM 多智能体与不可靠同事协作的基准

    针对 LLM 多智能体协作中“完美同事”假设的缺陷,研究者推出了 UnCoBench 基准。该基准将行为失败划分为偏离、不完整和缺失三种设定,要求主智能体验证上下文正确性并诊断信息缺口。 测试覆盖十个模型,结果显示即使在可靠设定下表现相似,模型在不可靠证据下的鲁棒性也存在差异。trace 分析表明,当前模型在纠正后续步骤、高效等待及减少冗余查询方面仍有不足。

  8. arXiv · ML22

    PATTERN 基准测试揭示图神经网络依赖记忆而非泛化

    PATTERN 基准中,无参数查找器在复用模式上达到 99.2% 准确率,远超最佳模型的 89.8%。 在新鲜模式测试中,CKGConv 和 GRIT 表现低于无模式预测器;加入新模式训练可使 CKGConv 准确率提升约 2 个百分点。 建议合成基准报告新鲜模板分数、生成器基线及指标加权方式,以揭示模型真实泛化能力。

  9. arXiv · NLP44

    ANCHOR 基准评估仓储级编码智能体的工程约束遵循能力

    研究提出 ANCHOR 基准,用于评估仓储级编码智能体在修改范围、工作流顺序及工具使用等维度的工程约束遵循能力。该基准涵盖 8 个语言组、10 类约束及 358 个任务。 在 19 种智能体配置中,Claude Opus 4.8 结合 Cline 达到 70.1% 原子合规率。结果表明功能性成功与约束合规存在显著差异,失败主要集中于工作流排序及报告生成。

  10. arXiv · AI36

    EvoCowork: 面向真实办公任务的基准测试

    提出 EvoCowork 基准,评估智能体在固定权重下处理 240 项办公任务的递归自改进能力,涵盖演示文稿、文档、表格及跨办公工作流。 最佳配置整体得分 42.25,跨办公任务得分 30.62;ACE 和 AHE 方法在同域提升 4.90 和 2.64 分,但跨办公任务仅变化 +0.03 和 -1.72 分。

  11. arXiv · AI40

    ASIWorld:在持久生存沙盒中评估自主智能体的基准测试

    研究团队推出 ASIWorld,一个结合持久世界状态与可观测性限制及异步编程接口的生存沙盒基准,用于测试智能体在长时交互中执行相互依赖任务的能力。 在探索性研究中,九种智能体配置使用统一测试框架运行,其中八种完成了生产任务,六种同时完成了生产与探索两项任务。 执行轨迹分析表明,准备不足会导致进度停滞,而成功完成任务的配置在生存成本和额外成就达成率上存在显著差异。

  12. arXiv · AI22

    如何构建真正衡量品味的基准测试

    研究人员提出 TasteBench,一种包含视觉、品牌等四类项目的双样本对比基准,旨在区分真实的品味判断与测试作弊行为。 在 n=250 的试点测试中,发现始终选择位置 A 的策略得分为 0.956,且五个 VLM 模型在工艺领域均达到满分 1.0。 该基准指出位置偏差和文本泄露可通过工具修复,但工艺领域的难度天花板需在未来版本解决。

  13. arXiv · NLP46

    UDHRBench:大语言模型人权基准测试

    研究者发布 UDHRBench,包含 1,124 个人权对抗问题及 4,496 条来自 ChatGPT、Grok、Gemini 和 Fanar 的回答。专家标注显示模型通过理性推理出现非显性违规,Cohen's kappa 为 0.801。 提出的 LLM-as-a-Judge 框架零样本及少样本提示下加权 F1 达 89.8%。数据集、标注及代码将作为开源资源发布。

  14. arXiv · AI20

    ACED-Bench 评估 LLM 智能体获取因果证据并据此决策的能力

    ACED-Bench 发布了一个神经符号基准,用于测试大语言模型智能体在科学场景中选择实验、解读有限证据并进行因果决策的能力。 ACED-CORE 包含 180 个任务(60 个因果关系问题与 120 个受约束因果决策任务),ACED-QUAL 含 150 个是/否资格检查;研究评估了 7 款当代 LLM 和 2 款早期模型在三种主动智能体设计下的表现。

  15. arXiv · AI47

    LHTB 2.0 扩展任务规模至 77 项并评估 15 个前沿模型的持续智能体表现

    LHTB 2.0 包含 77 个任务并覆盖 13 个领域,评估时间窗口从 90 分钟延长至 3 小时,每 30 分钟记录验证点。 在 15 个前沿模型的 1145 次运行测试中,GPT-6-astra 以 0.69 的平均密集奖励位居首位,GPT-5.6-sol 紧随其后得 0.67 分。 该基准显示仅关注最终结果的评估会忽略大量中间进展,为研究数小时级别的可靠智能体执行提供了过程感知的测试床。

  16. arXiv · AI35

    智能体数据科学评估中的隐性失败:方法学与领域知识缺失分析

    大规模分析 220 个任务,发现多数智能体方案存在数据泄漏等失败模式,且数据泄漏与预测性能正相关。 定性对比 Kaggle 竞赛专家方案,显示数据科学智能体普遍缺乏问题解决创造力及领域知识。 文章主张将失败模式分析纳入评估体系,以推动可信智能体数据科学流水线的开发。

  17. The Decoder92

    Google 全球发布 Gemini 4 Argon

    Google 在全球范围内上线 Gemini 4 Argon,该模型通过 AI Studio 和 Gemini 平台 API 开放,取代 Gemini Pro 成为新一代前沿系列。

    推荐理由:文章梳理了该模型的全球开放路径及价格,并列出了多项自动化任务与安全防护的具体数据。

10月13日周二
  1. Latent Space84

    Meta 发布 Muse Wonder 与 Wonder Full 模型

    Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder 和 Muse Wonder Full,定位为前沿智能体模型,其中 Full 版本仅限 Muse Code 订阅者使用。

    推荐理由:文章汇总了 Muse Wonder 发布当天的第三方评测、定价策略及独立开发者反馈,便于快速评估该模型在推理效率与智能体任务上的实际表现。