跳到正文
10月6日周二
  1. arXiv · AI39

    HLE 多选题子集的心理测量分析:维度与测量精度

    一项对 29 个 LLM 在 HLE 纯文本多选题子集上的心理测量分析发现,HLE 由单一通用推理因子主导,领域标签仅解释题目响应主成分 3.5% 的方差。 拟合双参数逻辑 IRT 模型后,域内与域间残差相关性几乎相同(Cohen's d = 0.016);测试信息函数显示测量精度集中在中等能力水平,在 θ = 0 以上急剧下降。

  2. arXiv · AI33

    如何衡量超越人类能力的智能?论文提出对抗式心理测量评分系统

    针对人类编写的基准测试饱和、超人类能力难以评估的问题,研究者提出基于相对测量的新范式:由模型生成能区分其他系统的公开挑战,聚合结果形成可随被测系统扩展的对抗式心理测量评分系统。 论文描述了减少私有信息攻击动机、支持无裁判裁决的实用协议,并在可验证与开放式不可验证领域实例化该框架。 该框架展示了模型生成评估如何持续测量超越人类前沿的系统。

  3. arXiv · AI22

    大语言模型懂八字规则却不会用:Bazi 基准测试揭示理论与案例推理差距

    一项针对传统中国八字的基准测试发现,六个语言模型在理论题上的准确率全面高于案例题,排除无效回答后差距仍达 16.60-29.56 个百分点。 该基准包含 3,000 道中文多选题,覆盖 14 个理论类和 11 个案例类,主结果基于 2,492 题的精炼集;十二长生与纳音平均准确率分别为 89.10% 和 88.62%,而事业与六亲仅 36.98% 和 38.19%。

  4. arXiv · AI20

    MechHypoBench:首个评估AI科学家生成机制假设的基准

    研究团队推出 MechHypoBench,这是首个专门评估 AI 智能体能否从经验数据生成数据驱动机制假设的基准。该基准融合了 14 个科学领域的机制与包含 1798 万条记录的真实数据集。 实验通过检验假设在保留条件下的后果进行评估,结果显示当前通用 AI 智能体生成的假设与真实机制之间存在显著差距。

  5. arXiv · ML20

    BIRD 基准测试:统一评估 LLM 驱动迭代奖励设计算法

    研究团队发布 BIRD 基准测试,旨在为基于 LLM 的迭代奖励设计提供统一配置与评估空间,解决现有方法难以直接比较的问题。 该基准在 MuJoCo、Meta-World、Assistax 和 HumanoidBench 环境中评估发现,少量简单的设计选择组合即可显著优于此前已发布的各类方法。 BIRD 基准测试突出了简单基线的强大性能,为后续研究何时需要更复杂的算法复杂度提供了依据。

10月5日周一
  1. arXiv · ML31

    VisAudit:评估多模态智能体进行视觉诊断与修复的基准测试

    研究人员推出 VisAudit 基准测试,用于评估多模态智能体在图表渲染中的缺陷诊断、代码修复及验证能力。该基准包含 1,900 个带缺陷样本、300 个初始正确图表,覆盖 21 种图表类型及 10 种缺陷类别。实验显示,最强模型在自主修复任务中仅能完全恢复 47.4% 的有缺陷图表,暴露出自主审查能力的显著不足。

  2. arXiv · ML28

    ArrivalBench 揭示 Agent 生成数据管道的时序错误

    基准测试 ArrivalBench 发现,单次运行验证的 Agent 数据管道在重放非理想交付时序时存在 7.0% 至 79.2% 的隐蔽错误率,远超其单次测试的认证通过率。 该研究区分了隐蔽的错误表结果与可监控的崩溃,指出提示幂等性风险虽能将某模型的隐蔽失败率从 48.2% 降至 10.5%,但会导致其崩溃率从 9.0% 激增至 37.0%。

  3. arXiv · AI34

    SovereignNegotiation-Bench:评估个人AI智能体在隐私与机构压力下的委托谈判能力

    研究者提出 SovereignNegotiation-Bench,这是一个包含 1,764 个成对场景的基准测试,用于评估个人 AI 智能体在委托谈判中的五项法律责任。在测试的 17 个开源模型中,忠实成功率(faithful success)介于 6% 至 75% 之间,且 48% 的协议至少违反了一项义务。该基准代码、场景及日志将开源发布。

  4. arXiv · AI42

    通过 Agent 轨迹解构模型行为

    该研究提出了“意图-执行”间隙概念,指出 AI Agent 性能受限于模型假设与执行框架(harness)行为的匹配度。研究开发了可定制框架 Simple Strands Agent (SSA),旨在捕获跨模型族的通用模式及特定偏好。

  5. arXiv · AI49

    TPRS衡量基准表示对LLM代理安全得分的敏感性

    TPRS指标揭示了安全基准中代理可见表示的变化会显著影响攻击成功率(ASR),其结果不具备跨表示的泛化性。在Agent Security Bench上,将威胁相关工具名称替换为中性名称后,GPT-5-mini的ASR上升11.67个百分点,Claude Haiku 4.5上升13.21个百分点。该发现表明,单一表示下的安全得分存在局限性,评估鲁棒性需在受控的威胁保持表示集合中验证。

  6. arXiv · AI23

    SyntaxBench: A Statistical Diagnostic Framework for Character-Level Reasoning in Large Language Models

    研究团队推出 SyntaxBench,这是一个针对大语言模型字符级推理能力的诊断性基准与统计评估框架。该框架包含字符计数、回文检测等五项核心任务及一项子串提取压力测试,在 2B 至 32B 参数规模的八个开源权重模型上进行了评估。 评估结果显示,分词方式显著影响准确性,且推理模式并非总是有益;其中 index_to_span 任务表现最差,最佳四样本精确匹配准确率仅为 6.75%。

  7. arXiv · AI33

    OpenGameEval 基准测试评估智能体在 Roblox Studio 中的编程与探索能力

    研究团队推出 OpenGameEval 基准,用于在 Roblox Studio 中评估 AI 智能体的编程与探索表现。该框架对 13 个前沿模型进行测试,最优模型在 84 个核心任务中的单次通过率仅为 51.7%,且六项任务无一模型能解决。探索行为直接预测成功率,深入检查所有相关对象的运行通过率比不检查的高出 13.4 个百分点。

  8. arXiv · AI37

    LLM 算法代码检索评测:合成还是回忆?

    研究提出 AlgoREval 基准,包含 599 道题目、覆盖 77 种经典算法、14 个领域、7 种编程语言及 4 种图输入表示,用于隔离评估 LLM 的参数化代码检索能力。 在零样本设置下评估了 15 个 7B 至 34B 参数模型,发现不同语言和输入表示间检索准确率存在显著差异;检索增强能提升复杂算法准确率,SFT 带来更广泛的语言收益,GRPO 在特定语言上收益更大。

  9. arXiv · AI25

    SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation

    SimuVerity 提出包含 101 项文本到可执行 Simulink 模型生成任务的基准,覆盖十个工程领域。该基准通过分层评估器检测交付、可执行性与工程资格,并从准确性等六个维度对合格模型打分。在评估的六个智能体系统中,最佳系统的综合得分仅为 42.86,显示结构相似性并非工程性能的良好替代指标。