跳到正文
10月5日周一
  1. arXiv · AI34

    SovereignNegotiation-Bench:评估个人AI智能体在隐私与机构压力下的委托谈判能力

    研究者提出 SovereignNegotiation-Bench,这是一个包含 1,764 个成对场景的基准测试,用于评估个人 AI 智能体在委托谈判中的五项法律责任。在测试的 17 个开源模型中,忠实成功率(faithful success)介于 6% 至 75% 之间,且 48% 的协议至少违反了一项义务。该基准代码、场景及日志将开源发布。

  2. arXiv · AI42

    通过 Agent 轨迹解构模型行为

    该研究提出了“意图-执行”间隙概念,指出 AI Agent 性能受限于模型假设与执行框架(harness)行为的匹配度。研究开发了可定制框架 Simple Strands Agent (SSA),旨在捕获跨模型族的通用模式及特定偏好。

  3. arXiv · AI49

    TPRS衡量基准表示对LLM代理安全得分的敏感性

    TPRS指标揭示了安全基准中代理可见表示的变化会显著影响攻击成功率(ASR),其结果不具备跨表示的泛化性。在Agent Security Bench上,将威胁相关工具名称替换为中性名称后,GPT-5-mini的ASR上升11.67个百分点,Claude Haiku 4.5上升13.21个百分点。该发现表明,单一表示下的安全得分存在局限性,评估鲁棒性需在受控的威胁保持表示集合中验证。

  4. arXiv · AI23

    SyntaxBench: A Statistical Diagnostic Framework for Character-Level Reasoning in Large Language Models

    研究团队推出 SyntaxBench,这是一个针对大语言模型字符级推理能力的诊断性基准与统计评估框架。该框架包含字符计数、回文检测等五项核心任务及一项子串提取压力测试,在 2B 至 32B 参数规模的八个开源权重模型上进行了评估。 评估结果显示,分词方式显著影响准确性,且推理模式并非总是有益;其中 index_to_span 任务表现最差,最佳四样本精确匹配准确率仅为 6.75%。

  5. arXiv · AI33

    OpenGameEval 基准测试评估智能体在 Roblox Studio 中的编程与探索能力

    研究团队推出 OpenGameEval 基准,用于在 Roblox Studio 中评估 AI 智能体的编程与探索表现。该框架对 13 个前沿模型进行测试,最优模型在 84 个核心任务中的单次通过率仅为 51.7%,且六项任务无一模型能解决。探索行为直接预测成功率,深入检查所有相关对象的运行通过率比不检查的高出 13.4 个百分点。

  6. arXiv · AI37

    LLM 算法代码检索评测:合成还是回忆?

    研究提出 AlgoREval 基准,包含 599 道题目、覆盖 77 种经典算法、14 个领域、7 种编程语言及 4 种图输入表示,用于隔离评估 LLM 的参数化代码检索能力。 在零样本设置下评估了 15 个 7B 至 34B 参数模型,发现不同语言和输入表示间检索准确率存在显著差异;检索增强能提升复杂算法准确率,SFT 带来更广泛的语言收益,GRPO 在特定语言上收益更大。

  7. arXiv · AI25

    SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation

    SimuVerity 提出包含 101 项文本到可执行 Simulink 模型生成任务的基准,覆盖十个工程领域。该基准通过分层评估器检测交付、可执行性与工程资格,并从准确性等六个维度对合格模型打分。在评估的六个智能体系统中,最佳系统的综合得分仅为 42.86,显示结构相似性并非工程性能的良好替代指标。

  8. arXiv · AI37

    ClarifyCodeBench:评估 LLM 在代码生成中澄清模糊需求的能力

    研究团队提出交互式基准 ClarifyCodeBench,专门评估大语言模型在代码生成任务中主动澄清模糊需求的能力。 该基准基于真实编程任务构建,并引入“轮次折扣关键问题率”和“最优轮次遵循度”两项指标以量化交互质量。 在对六款先进 LLM 的系统评估中发现,代码生成能力与需求澄清能力存在解耦现象,且模型在多重模糊性场景下的表现会显著下降。

  9. arXiv · AI31

    FinSkillBench:金融智能体技能溢价的分解与评估

    研究引入 FinSkillBench 评估套件,通过 2,603 个时间点和 12 类子任务验证金融智能体的量化执行能力。 跨 9 个模型的配对分析显示,精选技能包将平均得分提升 16.2 点,显著优于单集生成的 0.5 点增益。 进一步分解发现,可执行工具单独贡献 19.5 点,文档单独贡献 5.6 点,且两者结合呈现次加性,表明技能溢价取决于模型、资源及系统整体。

  10. arXiv · AI35

    时间序列预测基准测试需引入情景化压力测试

    当前时间序列预测(TSF)评测标准过于狭窄,仅关注留出集误差或高斯噪声等随机扰动,掩盖了部署系统中由结构化事件引发的语义、因果及系统级故障模式。随着TSF基础模型兴起且预训练语料库缺乏审计性,文章主张采用情景化压力测试,为每个测试实例引入语义场景、明确故障算子及可量化难度。该变革使评测更具可解释性、可归因性及部署相关性,帮助社区不仅判断模型准确度,还能明确其在何种条件下失效及原因。

  11. arXiv · AI26

    World Editing:I. G. M. World 中深度干预可执行世界的基准测试

    该研究提出世界编辑概念,旨在干预现有可执行世界并保持关键属性不变。 I. G. M. World 引入了针对 Minecraft 和 Terraria 的 I. G. M. Bench,包含 110 个任务和 1100 多项可执行标准。 前沿编程智能体在严格任务标准下解决率为 78.2%,且成功率随干预深度增加而显著下降,主要瓶颈在于使编辑后的世界符合预期行为而非构建失败。

  12. arXiv · AI26

    LLM Agent 决策系统中 System-1 模型 Laya 与 Jev 的配对评估及自审计

    研究者对开源 System-1 模型 Laya 与托管模型 Jev 在 11 个 Agent 决策点进行了配对评估,Jev 在 9 项任务上准确率显著更高,提升幅度达 10.8 至 46.0 个百分点。 审计发现前期分析存在成本遗漏和阈值偏差,导致部分部署优势宣称被修正,例如节省率从 23.9% 降至 4.3%。全部测试数据与分析代码已公开。

  13. arXiv · NLP33

    XiangqiBench:LLM 智能体闭环评估基准

    团队推出 XiangqiBench 基准,通过中国象棋残局测试 LLM 智能体在对手应对下的闭环执行能力。 该基准基于 119 个战术残局,记录 12 个前沿模型的 8,568 条多轮轨迹。研究发现模型存在转换、一致性和模拟三重差距,静态评估高估了实际胜率。 研究指出智能体评估应关注闭环结果并同步报告可靠性。

10月4日周日
  1. 美团技术团队79

    美团 LongCat 发布 MineExplorer:揭示顶级多模态大模型被忽视的能力断层

    美团 LongCat 团队构建了 MineExplorer,一个在开放世界中做到分钟级长程任务的评测基准,并开源了相关数据和代码。基准包含 813 个人工验证的高质量任务实例,支持 1 到 4 级多跳推理任务。

    推荐理由:文章给出了18款多模态大模型在MineExplorer动态环境中的具体成绩,读者可以据此判断感知与长程规划之间的实际能力断层。

  2. Hacker News LLM82

    GPT-6 Astra 首次实现 LLM 智能体通关 NetHack 并自主构建代理框架

    GPT-6 Astra 在 9 月 21 日通过独立运行 37,140 回合,首次实现 LLM 智能体通关 NetHack 3.6.7 的 Hardfought 难度。该智能体未依赖预设代码,而是通过自主编写和修复 Python 工具链构建代理框架,并利用外部参考资料和终端状态解析保持决策连续性。整个过程耗资约 300 美元额外算力及 200 美元订阅费,相关证据与代码已开源。

    推荐理由:文章完整披露了 GPT-6 Astra 实现 NetHack 通关的独立运行架构、成本及证据链,为评估 LLM 智能体自主构建工具解决复杂问题的能力提供了具体案例。

  3. Hugging Face Blog83

    Microsoft ThinkingBox 和 ThinkingBox-Bench 开源:基于终端状态检查评估 AI Agent 可靠性

    Microsoft 与 Hugging Face 联合发布了 ThinkingBox 沙箱环境和 ThinkingBox-Bench 基准,现可通过 Hugging Face 和 OpenEnv 访问。

    推荐理由:原文提供了 507 个有状态业务工作流的 20 次重复基准数据,以及按次成功成本与可靠性成本对比,可据此判断模型在真实数据库记录变更中的表现差异。

10月3日周六
10月2日周五
  1. Hacker News AI62

    Red Hat 实测:Jev 决策模型在准确率上未跑赢 LLM-as-a-judge 与传统分类器

    Red Hat 安全团队测试了 Jev、Qwen3.6、Nemotron 等 9 种 AI 护栏方案。在提示词注入和内容安全基准测试中,Jev 的准确率约为 86%,并未跑赢 LLM-as-a-judge(Qwen3.6 准确率 89%)或预训练分类器(准确率 89%)。预训练模型兼具极低延迟和极高准确率,而 Jev 等决策模型虽然支持零样本使用,但在速度和成本上并没有展现出压倒性的优势。

9月29日周二
  1. Hugging Face Blog81

    NVIDIA Kumo Tabular 开源表格基础模型发布

    NVIDIA 在 Hugging Face 和 GitHub 发布开源表格基础模型 Kumo Tabular,它基于 Transformer 架构,针对表格数据的列、行和上下文注意力设计,支持分类和回归任务,无需训练、调参或特征工程即可通过单次前向传播进行预测。

    推荐理由:文章给出了模型规模、基准排名与调用代码,读者可以据此判断它是否适合替代传统树模型流程。

  2. 阿里语音AI80

    Qwen-Audio-3.1-TTS 拿下全球权威语音榜冠军

    9 月 28 日,Qwen-Audio-3.1-TTS 在 Artificial Analysis 的 Controlled Voice Arena 中以 1177 的 Elo 评分位列全球第一。该模型支持多语种及方言合成,强调声音情绪和语速的自然表达。当前 Qwen-Audio 全线语音模型价格下调,最高降幅达 95%,API 服务已上架千问 AI 平台。

    推荐理由:Qwen-Audio-3.1-TTS 登顶权威评测,且全线模型大幅降价,开发者能直接获取低成本的多语种语音 API。

9月26日周六
  1. Anthropic (X)94

    Claude 在 Claude Science 平台完成九圈散射振幅计算

    Claude 在 Claude Science 中通过单提示词运行数日,成功计算了简化模型中的九圈散射振幅,打破了此前八圈纪录。该任务总成本仅数千美元,结果由物理学家 Lance Dixon 独立验证。

    推荐理由:展示了Claude在学术级计算任务中低成本突破历史纪录的能力,提供了可量化的成本与验证细节。

9月22日周二
9月20日周日
  1. 腾讯混元56

    WebCraftBench 提出面向 AI 网页生成的软件测试评测基准

    腾讯混元团队联合清华大学和北京大学提出 WebCraftBench,将软件测试方法引入 AI 网页生成评测。该基准包含 369 条真实用户需求和 5,088 条验收标准,通过让智能体实际交互并利用代码覆盖率查漏,从美观度、易用性和需求符合度三个维度进行评分。在 17 个前沿模型的实测中,WebCraftBench 的判断与人类偏好的一致率达到 85.3%。

9月15日周二
  1. 阶跃StepFun84

    阶跃星辰发布 StepAudio 3 系列语音大模型

    阶跃星辰正式发布 StepAudio 3 系列模型,包含 Realtime、ASR、TTS、Gen 和 Music 五款产品。Realtime 模型在 Artificial Analysis 榜单实现 98.9% 综合得分和 99.7% 语音推理准确率,ASR 模型词错误率达 1.7%,并上线阶跃开放平台支持多模态音频创作。

    推荐理由:系列模型在实时交互、语音识别和音频生成的榜单成绩具体,展示了语音模型从转写理解向全链路创作演进的能力。