跳到正文
11月4日周三
  1. arXiv · NLP20

    TFI:基于类型学特征归纳的推理基准

    研究人员提出类型学特征归纳(TFI)基准,用于诊断模型在推理规则归纳上的表现。 TFI 基于 195 种语言构建评估,LLM 仅凭 16 句对即可识别 59%-80% 的语言,表明其依赖先验知识而非纯归纳。 在模型无法识别的语言上,开源模型表现未超过多数值基线,显示模型尚未具备替代语言学家进行原始文本归纳的能力。

  2. arXiv · AI31

    AgenticFinBench 发布:面向真实金融任务的智能体评测基准

    研究团队发布 AgenticFinBench,包含 230 项真实金融任务,涵盖 8 个类别、2 种语言和 4 个复杂度级别。 该基准提出无参考评估框架,结合特定评分标准与两阶段事实核查,以检测幻觉。实验显示,幻觉审核使领先者分数降低 7.58 分并降至第四名。 发布该基准旨在推动金融推理与事实核查发展,提升智能体在真实请求中响应的可靠性。

  3. arXiv · AI31

    Agent 排行榜因隐藏评分错误导致排名失真

    审计发现公共 Agent 排行榜存在评分器故障,导致通用 Agent 得分被低估 13 分,且排名顺序发生错误重排。 HAL 和 tau2-bench 存在成本重复计算、操作归属混淆及版本错配问题,重新评估可使分数偏差达 59-82 点且无报错。 建议报告评分比例、标记动作来源及锁定评估器版本,以暴露评估基础设施中的静默测量错误。

  4. arXiv · AI38

    DualWorldBench:评测智能体在符号与接地世界中的配送规划能力

    研究团队提出统一评测基准 DualWorldBench,用于评估智能体在受控符号-时序与接地-拓扑复杂度下的多目标规划能力。 该基准包含 TextWorld、SimWorld 和 DualWorld-VQA 三个组件,分别隔离测试符号规划、接地路径规划及感知理解。实验发现智能体在将局部感知转化为全局一致计划时存在普遍缺口,无法可靠将接地观察转化为可行动作序列。

  5. arXiv · AI29

    VagueBench:具身智能体环境背景幻觉鲁棒性基准

    研究提出“环境背景幻觉”现象,发布基于 AI2-THOR 的 VagueBench 基准,包含 1,303 个指令对,用于测试具身智能体在缺乏辅助上下文时的表现。 对 6 个 SOTA 具身智能体评测显示,任务成功率相对下降 19.65%,空计划率上升 54.10%,表明其依赖语言信号而非核心语义。 该现象在真实机器人系统中依然存在,可能导致错误决策和潜在安全风险。

  6. 机器之心64

    普林斯顿AI Lab发布空间智能基准SSoN:人类准确率83.3%,大模型最高39.7%

    普林斯顿AI Lab发布空间智能基准SSoN,该任务要求模型根据四张静态室内图像识别违背同一场景的那一张。在完整1000题测试中,人类准确率达到83.3%,受测视觉语言模型中表现最好的GPT-6 Astra Pro准确率仅为39.7%。研究发现多数模型表现甚至低于四选一25%的随机基线,且在移动和旋转类空间编辑上存在显著短板。

  7. Hugging Face Blog72

    StateBench:测试语言模型在长文档中追踪状态变化的基准

    StateBench是一个用于评估语言模型长上下文状态追踪能力的基准测试,通过四个难度级别测试模型在信息随时间演变时的表现。研究发现,在复杂状态追踪问题上,前沿模型如Gemini 3.8 Flash、Claude Opus 5.5和GPT-6 Sol与Luna随着输入长度增加准确率急剧下降,最低降至13%以下。

    推荐理由:研究团队构建StateBench基准测试语言模型长文本状态追踪能力,发现前沿模型在复杂任务中准确率大幅下降,为架构选择提供依据。

11月3日周二
  1. 商汤科技SenseTime25

    商汤大装置以 9.4% 市场份额蝉联 IDC 2026 上半年中国企业级 MaaS 市场 TOP2

    商汤大装置以 9.4% 市场份额,再次蝉联 IDC 2026 上半年中国企业级 MaaS 市场 TOP2。 其通过 FDE 模式与“AI 123”交付法则,将复杂项目沉淀为可复制方法论,如缩短业务处理时长 60%、提升人均效率 70%。 该模式已服务 5 家上海大型国企,落地数十个产业场景,并斩获“CICC 2026 国资场景开放与行业应用挑战赛”四项大奖。

  2. arXiv · NLP45

    Agent Skill 评估与进化:框架与基准综述

    综述系统梳理了 Agent Skill 进化与评估领域,识别出从孤立创建向自动化评估驱动进化的范式转变。 进化被分类为执行反馈、轨迹蒸馏、压缩和强化学习四种范式,旨在提升技能效用与可靠性。 文章分析了六类以 Skill 为中心的 benchmark 类别,指出了基准覆盖、权衡及指标丰富度的结构性差距,并提出了构建可扩展且安全可验证的 Skill 生态系统的开放方向。

  3. arXiv · NLP45

    UXBench:首个基于真实用户反馈的 AI 助手用户体验基准

    UXBench 是首个基于真实用户反馈信号的基准,包含 7,400 个测试实例,涵盖 8 大场景和 83 个领域。 对 26 个前沿模型进行评估,结果显示用户反馈预测是可学习的能力,并揭示了影响体验的多个维度。 该基准确立了新的评估标准,呼吁关注定制化 UX 优化,推动以用户为中心的大模型扩展定律。

  4. arXiv · NLP25

    IdeaTaste 基准:评估大语言模型是否具备人类科研品味

    IdeaTaste 基准测试显示,LLM 在引用匹配和创意匹配上仅达人类水平的 26% 和 18%,存在显著差距。 该基准涵盖 6 个语言模型和 4 个研究领域,生成了超过 90,000 份研究提案。增加上下文或规模均未能有效缩小与人类社区的差距。 研究表明 AI 科研瓶颈在于将方向转化为具体方法,IdeaTaste 作为开源排行榜持续更新评测。

  5. arXiv · NLP21

    BestRand:稳定且低成本的基准压缩方法

    该研究提出 BestRand,通过随机采样降低模型评测成本,平均将高误差风险降低 50.2%,估算误差降低 16.4%。 方法在 70+ 文本、多模态及智能体基准上验证,OOD 估算误差平均降低 21.8%,且仅需 51.3% 的构建成本。 随机采样虽高效但存在罕见大误差,BestRand 在保留效率的同时显著减少高误差尾部风险,代码与数据已公开。

  6. arXiv · NLP25

    GPT 5.5 Pro 推理水平通过语法透镜基准测试进行区分

    形式化语法透镜基准测试生成不同计算能力层级的数据,用于区分 GPT-5.5 及其 Pro 版本的推理水平。 测试 GPT-5.5 及 GPT-5.5-Pro 的 Medium、High、XHigh 模式,数据接受率分别为 16%、40%、43% 和 52%。 随着测试时计算量增加,模型回答与人类回答分歧加剧,提示通用能力与对齐之间的潜在冲突。

  7. arXiv · ML61

    arXiv论文 BOBA:为何编码代理无法独立工作

    arXiv 论文提出 BOBA-Bench,包含 280 条由 140 个开源项目衍生出的 20 连任务链。评估显示 10 款编码代理在单步任务中完成率高达 95%,但在连续链式任务中降至 51%。研究指出原因并非代码质量变差,而是代理在自身测试通过后即标记完成,导致后续请求建立在含错代码上。引入外部验证和一轮修复可将链式完成率提升至 59%。

    推荐理由:论文通过长链任务揭示了编码代理的自我验证盲区,指出外部校验能显著降低错误累积率。

  8. arXiv · ML25

    PKPS 方法实现稀疏非配对响应下的基准预测

    研究提出 PKPS(Product Kernel Perspective Space)方法,用于解决全量基准评估成本高昂的问题。 该方法通过嵌入响应对比相似而非完全相同的查询,有效利用稀疏和非配对的评估数据。 理论上证明 PKPS 在查询效率上优于仅使用密集配对数据的方法,实验显示其在两个大型基准套件中优于基线模型。