跳到正文
11月17日周二
  1. arXiv · AI44

    Razavi-Bench 基准追踪 AI 在模拟电路推理上的进展

    研究提出 Razavi-Bench 基准,用于评估多模态大语言模型在模拟电路分析上的能力。 在 2024 年 5 月至 2026 年 11 月间发布的 73 个模型中,最高得分从 28.83% 跃升至 98.33%,仅用 30 个月。 当前主流模型几乎能正确回答所有教科书级问题,仅剩的难点在于那些看似常规但实际运作不同的电路。

  2. arXiv · AI21

    VAHBench:面向智能体长视频生成的基准测试

    VAHBench 评估智能体将用户请求转化为完整视频的能力,通过 48 种配置下的 240 次运行测试发现,视频生成的高质量分数并不等同于交付的完整性。 测试显示,缺失剧集、重复片段和静态填充物揭示了生产过程与用户要求之间的差距,添加的构图工具虽有帮助但未能一致提升性能。

  3. arXiv · AI26

    AI 安全基准开发者访谈揭示安全基准实用性与预期目标脱节

    针对生成式 AI 安全基准常被引为主要风险工具却难以满足现实评估需求的现状,研究者访谈了 5 名学术界与工业界的 AI 安全基准开发者。 研究发现,基准设计预期效用与实际部署评估效用存在脱节,主要障碍包括安全构念的评分者间信度难以达成,以及外部效度威胁应对策略缺乏清晰度。 研究主张安全基准必须基于并主动融入部署环境,并建议建立学术界与工业界利益相关者之间更透明的沟通路径。

  4. arXiv · NLP30

    CapCode 框架如何通过随机化测试检测并防止编码智能体作弊

    CapCode 框架通过构建非作弊得分上限低于 100% 的随机化测试数据集,有效检测编码智能体通过走捷径获取的高分作弊行为。CapReward 基于该原则设计奖励机制,抑制超出上限的优化,使模型更严格遵守任务规范。实验显示该方案在检测作弊的同时保留了模型性能排名,NeurIPS 2026 收录。

  5. arXiv · NLP21

    DetourBench: 交互式智能体轨迹级评测与最小动作界限

    DetourBench 提出轨迹级评测框架,通过环境约束计算最小动作数 L0 及残差工作 RT,解决传统端点评分无法区分智能体路径效率的问题。 在 375 个评分回合中,五个模型端点的成功率介于 58.7% 至 96.0%,条件达成率范围为 0.803 至 0.890。 项目已开源实例、见证及评估工具,被 NeurIPS 2026 工作坊接收。

  6. arXiv · NLP23

    dhAIBench:评估大语言模型语言学标注能力的基准测试框架

    作者发布 dhAIBench,一个用于评估大语言模型在语言学标注任务中表现的基准测试与标注工具。 该工具支持记录提示词、配置和预测结果,并提供了探索与分享结果的网页界面。 研究通过 48 个模型在 9 项语言学任务上的 293 次运行结果,证明了模型在形态学、句法、语义等任务上能达到与参考标注的高一致性。 结果表明,应针对具体的语言学任务评估模型,而非依赖通用的排行榜。

  7. arXiv · NLP21

    CuRSE-Bench: 一个用于探测文生图安全评估中文化盲点的基准

    CuRSE-Bench 揭示文生图安全评估存在文化盲点,包含 10,709 个文化特定提示词和 2,648 个通用对照,覆盖六个地区与十个危害轴。 该基准通过 CultureCraft 框架构建提示词,测试发现文化盲点评判员低估文化特定潜在危害,但其在通用对照上与地区人格评判员表现一致。 这一选择性盲点持续存在于已部署的审核系统中,凸显现有安全评估机制对特定文化背景下的隐性危害缺乏有效识别能力。

  8. arXiv · NLP25

    GPBam: 面向德国公法考试的检索感知基准

    GPBam 包含 81 个德国公法案例及 200 部法规背诵任务,用于联合评估法律检索与长文本生成。 在无检索条件下,32 个模型得分介于 4.81 至 76.42 分之间;引入检索后,最佳提升幅度为 4.1 分。 该基准已发表于 JURIX 2026 会议,旨在量化法律意见对检索质量的需求。

11月16日周一
  1. arXiv · NLP26

    PerfArena 开源 LLM 代码性能竞技场

    PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。

  2. arXiv · NLP25

    追踪 LLM 中的知识与推理过程

    研究人员提出一种任务中心框架,结合注意力、激活和表征信号,用于刻画 16 个 LLM 在 24 个基准测试中的内部处理模式。 该框架揭示从检索主导到推理主导的连续谱系,并发现知识密集型与推理密集型任务存在系统性处理差异,有助于优化基准选择与模型评估。 代码已开源,论文被 TACL 接收。

  3. arXiv · AI30

    LLM 基准置信度信号的有效性筛查框架

    提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。

  4. arXiv · AI41

    ShopGym:电商 Web 智能体仿真与可扩展基准一体化框架

    ShopGym 框架通过 ShopArena 和 ShopGuru 组件,解决了电商 Web 智能体评测中真实感与可控性的平衡难题,实现了可重置、可检查的标准化评估环境。 验证显示,合成商店在 224 项任务中 6 个沙盒商店内的智能体成功率与真实店面高度一致,单店生成成本约为 60 美元。 该框架已入选 NeurIPS 2026 评测与数据集赛道,为大规模智能体行为分析提供了可扩展基础。

  5. arXiv · AI27

    AgenticPay 基准测试多模态 LLM 在商业多智能体谈判中的表现

    新基准 AgenticPay 评估多模态 LLM 在四类商业场景及多种市场拓扑下的自主谈判能力。包含 160 项任务,考察从双边到多边市场的协议达成质量。 最强模型 Gemini 3.1 Pro Preview 的 GlobalScore 仅 42.3/100;市场转向多侧时该分数平均下降 5.7 分。该基准为评估现实商业中的多模态智能体提供了测试平台。

  6. arXiv · AI53

    GDP.xlsx:评估前沿模型处理专业电子表格任务的基准

    研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。

11月14日周六
11月13日周五
  1. arXiv · AI42

    FrontierOR: 评测大语言模型在大规模优化中设计高效算法的能力

    FrontierOR 是首个基于文献的大规模优化算法效率评测基准,包含 180 个任务。 评测显示最强 LLM 在 Full-set 任务上的成功率仅为 39%;在 Hard 子集上,引入自演化框架可将成功率从 51% 提升至 78%。 该基准提供持续维护的测试环境,代码与数据已公开,并被 NeurIPS 2026 接收。

  2. arXiv · AI23

    交互 LLM 系统中用户适应性对模型评估的挑战

    用户适应性导致离线基准测试与在线 A/B 测试分别收敛于共同分布效应和诱导分布效应,两种方法可能得出不同的模型排名,进而影响部署建议。 在交互式 LLM 系统中,用户会观察模型响应并调整后续提示策略及任务类型,这种适应性还会增加估计方差,并与奖励作弊、新奇效应等评估难题存在共同机制。

  3. arXiv · AI26

    DashBench 评测自动驾驶长尾场景下的 25 个 Video LLM

    研究团队推出 DashBench 基准,测试 25 个 Video LLM 在 1,709 个包含碰撞与非碰撞长尾场景(corner cases)的驾驶视频中的表现。 评测结果显示,所有受测模型在安全关键驾驶应用所需阈值下表现不佳,常误判或漏检危险事件,并幻觉出不存在的物体或动作。 该基准结合数据集与诊断工具,旨在推动更安全、可解释的自动驾驶系统发展,代码与数据已公开。

  4. arXiv · NLP43

    LLM 长期记忆中的时态扁平化现象

    研究指出,LLM 代理的长期记忆常将进行时用户事实扁平化为一般现在时,导致“时态扁平化”现象。在名为 LAPSE 的基准测试中,三个生成模型在 381 对样本中的 210 对里保留了时态差异,且 11 个测试模型均显示此单向丢失现象,该结果同样存在于 mem0、Graphiti 和 Letta 系统中。

  5. arXiv · NLP20

    跨厂商与版本模型行为低成本评估方法

    研究者提出一种简单、廉价且可复制的模型行为评估框架,单次实验成本低至每个模型几美元。 该方法在四年来的前沿及开源实验室模型发布上运行,通过精确匹配、LLM 评审代码本及仪器化环境三种方式读取结果。 研究识别出模型行为的收敛性、对特定提示的抗性、随代际变化的立场坚持特性,以及编码智能体在不同运行环境下的账户一致性差异。