跳到正文
11月9日周一
11月6日周五
  1. arXiv · AI49

    openJiuwen 动态智能体执行框架实现 SWE-bench Verified 82.6%

    开源框架 openJiuwen 发布,支持结构化合成与运行时自适应,在 SWE-bench Verified 达 82.6%,Terminal-Bench 2.1 达 87.19%。 框架通过 Rail-based 能力合成与固定模型策略下的运行时动态调整,提升复杂编码任务性能,分别超官方榜单最佳成绩 3.4 和 3.39 个百分点。 结果表明该设计在复杂编码任务上兼具高性能与可组合性。

  2. arXiv · AI37

    Multi-step SWE:长时程软件编程基准测试

    研究者发布 Multi-step SWE 基准,包含 69 个由 5-15 个依赖步骤构成的软件工程任务,覆盖九种编程语言。 最强前沿模型在长时程任务中的解决率仅为 18.5%,且 69 个任务中有 38 个未被任何模型完全解决。 该基准已公开发布,用于评估编码智能体在自身生成代码上进行迭代开发的能力。

  3. arXiv · AI30

    FINCOSMOS:面向金融智能体的开放世界评估范式

    FINCOSMOS 提出开放世界金融智能体评估范式,覆盖 4 个编码智能体和 1 个无工具模型共 150 次会话。 智能体需从 Web 获取数据并在截止时间内构建回测,所有 150 次会话均因程序检查失败未被接受,智能体仅主动提及 54%–64% 的未知细节。 使用 FINCOSMOS 反馈后,具备持久记忆的智能体成功学会了全部 10 项任务。

11月5日周四
  1. arXiv · AI38

    CivBench:基于《文明 6》的长程 MCP 智能体开源基准

    研究团队发布开源基准 CivBench,用于在《文明 6》游戏中评估 LLM 智能体基于 MCP 协议的长程工具调用能力。 该基准包含 76 个 MCP 工具,单局游戏可超过 300 轮对话。研究通过 23 次试点运行发现,智能体在主动监控率和短期承诺执行率(RAG@10 为 48.2%-65.8%)上表现不佳。 CivBench 环境、场景日志及分析管道已开源发布。

  2. arXiv · AI44

    ServerBench:编码智能体如何设计专用 LLM 服务系统

    ServerBench 基准测试显示,在 11 个编码智能体模型中,Claude Sonnet 5.5 在 Gemma E4B 上实现 2.97 美元/美元收益,达到 vLLM 参考系统的 $4.87\times$。 该基准采用有状态重放和独立验证,33 次运行中 22 次产出可用系统,其中 13 次超越最强基线。 分析发现,高价值设计需协调容量与负载选择,且可靠交付依赖于对优化执行路径的验证。

  3. arXiv · AI52

    LifeVal:评估 AI 模型在个性化智能体消费者任务中的表现

    研究者发布 LifeVal 基准,用于评估 AI 模型在 148 个高价值个性化消费者任务上的表现。该基准覆盖年度支付意愿超 1.7 万亿美元的生活场景,基于 3800 名消费者的调研数据构建活动分布。评测任务由具备多年实战经验的创建者使用真实 ChatGPT 对话和记忆数据生成,并经过至少三轮人工质量控制。

  4. arXiv · AI38

    PersonaCodeBench:评估编码智能体在人格驱动人机交互中的表现

    PersonaCodeBench 是一个新基准,将用户特征转化为可验证的义务,用于多轮编码交互。 该基准包含角色、技术能力、交互偏好及约束的人格池,通过控制器管理模拟用户响应与需求披露。 它分别评估原生正确性与个性化满足度,支持对前沿编码智能体进行可复现评估。

  5. arXiv · NLP35

    MusTBench:评估并改进音乐大语言模型的时序定位能力

    研究团队提出 MusTBench 基准与 MusT 四阶段优化方案,旨在评估和提升音乐音频-语言模型(LALMs)的时序定位能力。 MusTBench 包含基于乐段的数据和五项问答任务,MusT 涵盖音乐编码器适配、LLM 微调及强化学习优化。 现有 LALMs 在精确时序定位上面临挑战,MusT 在不同模型骨干上均一致提升性能。

  6. arXiv · NLP37

    SVGFaith: 针对文本生成 SVG 忠实度指标的两层元评估

    研究人员提出 SVGFaith 双层元评估框架,包含 1,842 对诊断数据和 1,327 个人工标注竞技场数据。 SVGFaith-Score 在 Arena 及两个诊断方向上均显著优于包括 Qwen3.5-122B-A10B 在内的九项基线。 该框架揭示了现有嵌入指标在空间关系和属性绑定上的局限,提供了可解释的逐需求评分。

  7. arXiv · NLP25

    NaijaFacts:分离尼日利亚事实中语言与知识效应的框架

    多语言基准主要测量语言能力而非对非洲事实的认知。NaijaFacts 基准通过英语、皮钦语等5种语言提问,发现知识效应占主导,模型对尼日利亚事实准确率仅为20%,远低于英美。 语言效应随网络资源减少而加剧,模型规模增加无助于提升对尼日利亚统计数据的准确率(最高未超31%)。该研究揭示了大模型在非洲知识上的系统性缺失,非尼日利亚特有。

  8. arXiv · NLP23

    大语言模型能否模仿特定作者:六款模型对比评估

    研究测试了 Gemini 3 Pro、Claude Opus 等六款 LLM 的作者模仿能力,发现 Gemini 3 Pro 表面性能最强但主要依赖文本复用。 分析表明,训练集一致性是模仿成功的最佳预测指标,而生成文本在嵌入空间中与人类风格集群显著分离。 结果凸显了区分风格模仿与直接复用的重要性,对涉及 LLM 的文本取证分析具有参考意义。

11月4日周三
  1. arXiv · NLP20

    TFI:基于类型学特征归纳的推理基准

    研究人员提出类型学特征归纳(TFI)基准,用于诊断模型在推理规则归纳上的表现。 TFI 基于 195 种语言构建评估,LLM 仅凭 16 句对即可识别 59%-80% 的语言,表明其依赖先验知识而非纯归纳。 在模型无法识别的语言上,开源模型表现未超过多数值基线,显示模型尚未具备替代语言学家进行原始文本归纳的能力。

  2. arXiv · AI31

    AgenticFinBench 发布:面向真实金融任务的智能体评测基准

    研究团队发布 AgenticFinBench,包含 230 项真实金融任务,涵盖 8 个类别、2 种语言和 4 个复杂度级别。 该基准提出无参考评估框架,结合特定评分标准与两阶段事实核查,以检测幻觉。实验显示,幻觉审核使领先者分数降低 7.58 分并降至第四名。 发布该基准旨在推动金融推理与事实核查发展,提升智能体在真实请求中响应的可靠性。

  3. arXiv · AI31

    Agent 排行榜因隐藏评分错误导致排名失真

    审计发现公共 Agent 排行榜存在评分器故障,导致通用 Agent 得分被低估 13 分,且排名顺序发生错误重排。 HAL 和 tau2-bench 存在成本重复计算、操作归属混淆及版本错配问题,重新评估可使分数偏差达 59-82 点且无报错。 建议报告评分比例、标记动作来源及锁定评估器版本,以暴露评估基础设施中的静默测量错误。

  4. arXiv · AI38

    DualWorldBench:评测智能体在符号与接地世界中的配送规划能力

    研究团队提出统一评测基准 DualWorldBench,用于评估智能体在受控符号-时序与接地-拓扑复杂度下的多目标规划能力。 该基准包含 TextWorld、SimWorld 和 DualWorld-VQA 三个组件,分别隔离测试符号规划、接地路径规划及感知理解。实验发现智能体在将局部感知转化为全局一致计划时存在普遍缺口,无法可靠将接地观察转化为可行动作序列。

  5. arXiv · AI29

    VagueBench:具身智能体环境背景幻觉鲁棒性基准

    研究提出“环境背景幻觉”现象,发布基于 AI2-THOR 的 VagueBench 基准,包含 1,303 个指令对,用于测试具身智能体在缺乏辅助上下文时的表现。 对 6 个 SOTA 具身智能体评测显示,任务成功率相对下降 19.65%,空计划率上升 54.10%,表明其依赖语言信号而非核心语义。 该现象在真实机器人系统中依然存在,可能导致错误决策和潜在安全风险。

  6. Hugging Face Blog72

    StateBench:测试语言模型在长文档中追踪状态变化的基准

    StateBench是一个用于评估语言模型长上下文状态追踪能力的基准测试,通过四个难度级别测试模型在信息随时间演变时的表现。研究发现,在复杂状态追踪问题上,前沿模型如Gemini 3.8 Flash、Claude Opus 5.5和GPT-6 Sol与Luna随着输入长度增加准确率急剧下降,最低降至13%以下。

    推荐理由:研究团队构建StateBench基准测试语言模型长文本状态追踪能力,发现前沿模型在复杂任务中准确率大幅下降,为架构选择提供依据。

11月3日周二
  1. 商汤科技SenseTime25

    商汤大装置以 9.4% 市场份额蝉联 IDC 2026 上半年中国企业级 MaaS 市场 TOP2

    商汤大装置以 9.4% 市场份额,再次蝉联 IDC 2026 上半年中国企业级 MaaS 市场 TOP2。 其通过 FDE 模式与“AI 123”交付法则,将复杂项目沉淀为可复制方法论,如缩短业务处理时长 60%、提升人均效率 70%。 该模式已服务 5 家上海大型国企,落地数十个产业场景,并斩获“CICC 2026 国资场景开放与行业应用挑战赛”四项大奖。