跳到正文
11月7日周六
  1. Hacker News AI54

    AbMaze 评测前沿 AI Agent 在蛋白质适应性景观中的表现

    AbMaze 是一个基于 65,536 个实验室测定的抗体变异的基准测试,评估 AI Agent 在 150 次测量预算下寻找多抗原结合物的能力。测试结果显示,最强模型 Gemini 4 的得分(55%)与脚本化的贝叶斯优化器(50%)处于同一水平,未能表现出超越传统方法的智能;GPT-6 Astra 和 Grok 4.7 等模型则表现落后。

  2. Hacker News AI63

    Village LLM Atlas 研究:非美非中 AI 模型落后美国近一年

    Village 基于 LLM Atlas 基准发布研究,指出自 2024 年以来,非美非中地区最佳模型的中位落后时间约为 9.9 个月,而中国仅落后 5.2 个月。法国 Mistral 和韩国正通过开源模型与政府资助缩小差距,加拿大 Cohere 转向企业软件导致自研模型落后 18 个月,印度 Sarvam 及 UAE 则分别因专注自研训练和算力建设而处于更落后位置。研究强调各国策略正出现分化。

11月6日周五
  1. Towards AI35

    如何一步步构建自己的 LLM 评测基准 ToneBench

    作者构建了评测基准 ToneBench,利用 LLM 评委评估 84 个模型对 10 个 YouTube 脚本的写作能力。 该基准要求每个模型生成 5 份草稿以区分“好日子”与“坏日子”,Grok 4.7 在最好与最坏草稿中分别排名第 28 和 62 位。 LLM 评委先选定 6 级评分标准之一再赋数值,比直接打分更具一致性,以此校准模型表现。

  2. Latent Space85

    Thinking Machines 发布 Inkling 2 Small 模型

    Thinking Machines 发布 Inkling 2 Small,这是一款 594B 总参数量 / 17B 激活量的多模态 MoE 模型,采用 NVFP4 原生精度在 GB300 集群上耗时 68 小时完成预训练。

    推荐理由:原文给出训练参数与评测结果,读者可据此判断该模型对西方开源生态与微调工作流的影响。

  3. Seven Minute Feed65

    Visa 研究:AI 购物智能体 43% 购买失败

    Visa 研究让 22 个 AI 智能体购买电视、笔记本和美发设备,每项任务重复 15 次,总体成功率约 57%。Google 的 Gemini Aragon 4 和 Meta Wonder 智能体成功率最高,达到 82%;Claude 智能体为 76%;OpenAI 智能体为 64%。研究发现,五款最贵模型的平均成功率为 67%,五款最便宜模型为 50%。

  4. 量子位70

    360 图龙锋在 CyberGym 基准以 99.4% 漏洞复现率登顶全球第一

    360 自研 AI 安全系统图龙锋在 CyberGym 榜单上以 99.4% 的漏洞复现成功率创下单项最高纪录。该系统基于 360 团队二十余年的安全专家经验和过程数据训练,通过“安全领域大模型+专业智能体蜂群”架构实现自动化漏洞挖掘。自今年 6 月发布以来,图龙锋累计发现漏洞超 1.5 万个,并成为全国唯一通过中国信通院首批“漏洞挖掘智能体能力评估”的产品。

    推荐理由:360 图龙锋系统在 CyberGym 基准取得 99.4% 成功率,展示了将专家经验转化为 AI 能力的具体路径。

  5. arXiv · AI49

    openJiuwen 动态智能体执行框架实现 SWE-bench Verified 82.6%

    开源框架 openJiuwen 发布,支持结构化合成与运行时自适应,在 SWE-bench Verified 达 82.6%,Terminal-Bench 2.1 达 87.19%。 框架通过 Rail-based 能力合成与固定模型策略下的运行时动态调整,提升复杂编码任务性能,分别超官方榜单最佳成绩 3.4 和 3.39 个百分点。 结果表明该设计在复杂编码任务上兼具高性能与可组合性。

  6. arXiv · AI37

    Multi-step SWE:长时程软件编程基准测试

    研究者发布 Multi-step SWE 基准,包含 69 个由 5-15 个依赖步骤构成的软件工程任务,覆盖九种编程语言。 最强前沿模型在长时程任务中的解决率仅为 18.5%,且 69 个任务中有 38 个未被任何模型完全解决。 该基准已公开发布,用于评估编码智能体在自身生成代码上进行迭代开发的能力。

  7. arXiv · AI30

    FINCOSMOS:面向金融智能体的开放世界评估范式

    FINCOSMOS 提出开放世界金融智能体评估范式,覆盖 4 个编码智能体和 1 个无工具模型共 150 次会话。 智能体需从 Web 获取数据并在截止时间内构建回测,所有 150 次会话均因程序检查失败未被接受,智能体仅主动提及 54%–64% 的未知细节。 使用 FINCOSMOS 反馈后,具备持久记忆的智能体成功学会了全部 10 项任务。

  8. Hacker News AI64

    Vetto ScienceBench 发布:前沿AI模型在科学数据分析任务中最高通过率仅49%

    Vetto 发布了 ScienceBench,包含14个学科、50个可验证的数据分析任务,用于评估前沿模型的科学判断力。测试13个模型显示,表现最好的模型通过率仅为49%,且5个任务无模型解决。分析表明,65%的失败源于模型已发现数据异常但误判或错误处理,而非代码错误;简单的警告提示虽提升通过率10个百分点,但无法解决模型缺乏科学推理判断的根本缺陷。

11月5日周四
  1. arXiv · AI38

    CivBench:基于《文明 6》的长程 MCP 智能体开源基准

    研究团队发布开源基准 CivBench,用于在《文明 6》游戏中评估 LLM 智能体基于 MCP 协议的长程工具调用能力。 该基准包含 76 个 MCP 工具,单局游戏可超过 300 轮对话。研究通过 23 次试点运行发现,智能体在主动监控率和短期承诺执行率(RAG@10 为 48.2%-65.8%)上表现不佳。 CivBench 环境、场景日志及分析管道已开源发布。

  2. arXiv · AI44

    ServerBench:编码智能体如何设计专用 LLM 服务系统

    ServerBench 基准测试显示,在 11 个编码智能体模型中,Claude Sonnet 5.5 在 Gemma E4B 上实现 2.97 美元/美元收益,达到 vLLM 参考系统的 $4.87\times$。 该基准采用有状态重放和独立验证,33 次运行中 22 次产出可用系统,其中 13 次超越最强基线。 分析发现,高价值设计需协调容量与负载选择,且可靠交付依赖于对优化执行路径的验证。

  3. arXiv · AI52

    LifeVal:评估 AI 模型在个性化智能体消费者任务中的表现

    研究者发布 LifeVal 基准,用于评估 AI 模型在 148 个高价值个性化消费者任务上的表现。该基准覆盖年度支付意愿超 1.7 万亿美元的生活场景,基于 3800 名消费者的调研数据构建活动分布。评测任务由具备多年实战经验的创建者使用真实 ChatGPT 对话和记忆数据生成,并经过至少三轮人工质量控制。

  4. arXiv · AI38

    PersonaCodeBench:评估编码智能体在人格驱动人机交互中的表现

    PersonaCodeBench 是一个新基准,将用户特征转化为可验证的义务,用于多轮编码交互。 该基准包含角色、技术能力、交互偏好及约束的人格池,通过控制器管理模拟用户响应与需求披露。 它分别评估原生正确性与个性化满足度,支持对前沿编码智能体进行可复现评估。

  5. arXiv · NLP35

    MusTBench:评估并改进音乐大语言模型的时序定位能力

    研究团队提出 MusTBench 基准与 MusT 四阶段优化方案,旨在评估和提升音乐音频-语言模型(LALMs)的时序定位能力。 MusTBench 包含基于乐段的数据和五项问答任务,MusT 涵盖音乐编码器适配、LLM 微调及强化学习优化。 现有 LALMs 在精确时序定位上面临挑战,MusT 在不同模型骨干上均一致提升性能。

  6. arXiv · NLP37

    SVGFaith: 针对文本生成 SVG 忠实度指标的两层元评估

    研究人员提出 SVGFaith 双层元评估框架,包含 1,842 对诊断数据和 1,327 个人工标注竞技场数据。 SVGFaith-Score 在 Arena 及两个诊断方向上均显著优于包括 Qwen3.5-122B-A10B 在内的九项基线。 该框架揭示了现有嵌入指标在空间关系和属性绑定上的局限,提供了可解释的逐需求评分。

  7. arXiv · NLP25

    NaijaFacts:分离尼日利亚事实中语言与知识效应的框架

    多语言基准主要测量语言能力而非对非洲事实的认知。NaijaFacts 基准通过英语、皮钦语等5种语言提问,发现知识效应占主导,模型对尼日利亚事实准确率仅为20%,远低于英美。 语言效应随网络资源减少而加剧,模型规模增加无助于提升对尼日利亚统计数据的准确率(最高未超31%)。该研究揭示了大模型在非洲知识上的系统性缺失,非尼日利亚特有。

  8. arXiv · NLP23

    大语言模型能否模仿特定作者:六款模型对比评估

    研究测试了 Gemini 3 Pro、Claude Opus 等六款 LLM 的作者模仿能力,发现 Gemini 3 Pro 表面性能最强但主要依赖文本复用。 分析表明,训练集一致性是模仿成功的最佳预测指标,而生成文本在嵌入空间中与人类风格集群显著分离。 结果凸显了区分风格模仿与直接复用的重要性,对涉及 LLM 的文本取证分析具有参考意义。

  9. Hacker News AI55

    First Silicon 基准测试:前沿AI模型在芯片漏洞检测中零误报命中率不足20%

    First Silicon基准测试评估前沿模型检测开源芯片设计真实漏洞的能力,86个修复案例中Claude Opus 5.5最大努力模式零误报命中率达18.6%,是最佳结果。测试允许误报时其命中率升至32.6%,而67个真实漏洞在所有模型默认设置下均未被发现。模型引入形式化检查器后准确率反而下降,暴露了判断反例是否为代码错误还是断言错误的开放问题。

11月4日周三
  1. Hacker News AI65

    iOS 模拟器 MCP 工具基准测试:八款工具对比分析

    基准测试对比了八款 iOS 模拟器 MCP 工具在智能体登录场景下的性能,simulator-use 以每次登录 194 个 token 的消耗量表现最优,比第二名低 3.4 倍,比 Xcode MCP 低 66 倍,且登录速度最快。测试涵盖屏幕读取、点击、输入等单项操作及完整登录流程,详细记录了各工具在 Apple M5 Pro 虚拟机上的耗时与 token 估算值。

  2. 机器之心65

    英伟达、UT-Austin 发布 Realtime-Bench,实时互动任务难倒 GPT-6

    英伟达与 UT-Austin 等机构发布实时交互基准 Realtime-Bench,测试 12 种前沿模型在 30 个网页任务和 20 个游戏任务中的表现。结果显示即使表现最好的 GPT-6-Astra 在高推理强度下的 Pass^3 也仅为 36%,且多数模型延迟超过 1 秒;即使移除推理时间开销,仍有多数任务无法完成,表明仅降低延迟不足以保证可靠的实时表现。

    推荐理由:实时互动任务要求模型在时间约束下完成观察、推理与行动,最佳模型成功率也仅 44%,展示了实时能力评测框架的核心结果。