跳到正文
11月11日周三
  1. arXiv · AI27

    ICLayout-Bench 评测 LLM 智能体在定制电路布局设计中的表现

    基准测试 ICLayout-Bench 发布了 LLM 智能体在定制电路布局设计中的表现,结果显示 22 种配置的平均布局得分在 4.22 到 80.26 分之间。 该基准包含 165 个任务,覆盖 13 种工艺设计套件(PDK)和 3 nm 到 180 nm 的技术节点,采用开源和商业 EDA 流程。 更高的推理努力并未持续提高平均分,且相似得分的配置在模型成本上差异显著。

  2. arXiv · AI27

    基于知识空间理论的大语言模型下一步推荐基准测试

    研究者提出基于知识空间理论(KST)的基准测试方法,评估大语言模型(LLM)在数学领域的下一步推荐准确性。 测试分析了六个模型在 2400 个响应中的表现,仅在描述下准确率为 61.3%,提供完整知识空间时达 98.2%。 该基准支持模型与提示词组合的对比,但不直接确立学习效益或 LLM 的必要性。

  3. arXiv · AI36

    TrustMod-SM:评估大语言模型社交媒体内容审核可信度的多轴基准

    研究团队发布TrustMod-SM基准,包含约29000个实例,从五个维度评估LLM在社交媒体内容审核中的可信度。 该基准评测了16个开源权重模型(参数规模0.5B-284B)及一个闭源前沿模型,发现检测准确率较高往往伴随更大的人口统计差异。 结果显示模型规模扩大未能统一解决这些问题,没有单一模型在全部五个维度上均表现优异。

  4. arXiv · ML42

    企业分析智能体评估框架对比研究:稳定性、检测与发现

    三项评估框架在企业分析智能体上的对比研究显示,97%的配置满足稳定性阈值,trace-based框架在72个已知风险用例中取得最佳F1=0.90。 text-only评估虽召回率相同但误报增加5倍,功能测试与红队测试发现的24个新型失败零重叠。 建议采用trace-based评估与对抗性红队测试相结合的双框架策略。

  5. arXiv · ML33

    基于状态条件不变性的可靠 VLM 评委诊断框架

    针对 VLM 评委可靠性评估不足,提出 State-Conditional Invariance (SCI) 原则及 GridWM-Judge 诊断基准。 GridWM-Judge 基于 MiniGrid 确定性轨迹构建,包含 5 类诊断任务,涵盖局部感知与因果判别。 研究揭示 VLM 评委存在对证据呈现敏感及反事实判别弱等失效模式,建议联合报告正确率与因果敏感度。

  6. arXiv · ML46

    MMDM: 衡量大规模多任务决策

    MMDM 是包含 5,448 道题目、涵盖 16 个任务类别的大规模多任务决策基准。它支持单选、多选及软标签,选项空间 2 至 1,024,输入最长 64,817 tokens。 评估 28 个决策模型发现,多数模型在普通知识上表现良好,但在选项逻辑与约束规划上表现较差。 MMDM 为联合推理、约束感知选择及完整多选恢复等决策模型关键方向提供了测试平台。

  7. arXiv · ML31

    Transformer 组合泛化评估:组合等价与模块覆盖率的作用

    系统评估表明,Transformer 组合泛化性能受组合等价和模块覆盖率强烈影响。直接模型主要利用组合等价获得高分,消除等价后性能显著下降。 模块覆盖率偏移会导致直接模型和分步模型性能单调下降。基准中存在的组合等价可能导致对直接模型泛化能力的显著高估。 以 LiveCodeBench 为例,展示了组合等价对预训练模型 Llama3-8B 在代码输出预测任务中泛化表现的影响。

  8. LessWrong · All Posts40

    可验证指标是否高估 RSI:基于 METR 对 Anthropic 评估的探讨

    METR 评估显示 Anthropic 模型能力提升速率约为 2024 年 3 月至 2025 年 10 月期间的两倍,且 80% 的加速归因于 AI 贡献。作者认为 AECI 侧重可验证任务可能导致过拟合,使加速不可持续,这比模糊任务泛化更关键地影响 ASI 时间线。 该不确定性意味着可验证指标或高估 AI 研发加速,进而导致对 RSI 和 ASI 到达时间的过度乐观估计。

  9. IT之家71

    谷歌联合 Artificial Analysis 推出 MKA 多模态知识智能体基准测试

    谷歌联合 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件并处理现实知识任务的能力。该测试包含 200 项任务,覆盖 10 个行业和 83 种职业,由领域专家协助建立。在评测中,谷歌最新发布的 Gemini 4 Carbon 模型在质量上获得第二,其完成这些任务的平均成本仅为排名第一的模型约六分之一。

  10. LessWrong · All Posts20

    OpenAI 研究员时间视野估算低于 AECI 预测

    OpenAI 提供的直接测量数据显示,研究者的时间视野估算显著小于 AI2027 框架中 AECI 的预测。 两者拟合差距约为 2-3 次倍增(对应 2.5-11 个月),且该差距基于 50% 成功率的时间视野。 文章认为直接测量证据比 AECI 预测更可靠,可缓解对近期 RSI 的担忧。

  11. Hacker News AI52

    Singularity Gate:面向 AI 驱动范式转变科学发现的基准测试

    Singularity Gate 是一个评估 AI 驱动范式转变科学发现的基准测试,其任务基于最新模型训练截止后才首次公开的科学发现,确保模型无法在训练中见过这些数据。该基准包含 80 个任务,其中 12 个被评为最范式颠覆的“Hard”集,所有模型均在 xhigh 推理强度、启用工具但关闭网络搜索的原生运行环境中测试。

11月10日周二
  1. Hacker News AI76

    450 个 GitHub 热门仓库 12 个月数据揭示 AI 编码占比跃升与代码质量现状

    coderot 基于 450 个主流 GitHub 开源仓库过去 12 个月的 git 数据指出,平均合并 PR 中 AI 签名占比从 2025 年 10 月的 2.3% 升至 2026 年 9 月的 11.5%;其中 Claude Code 在多数含 AI PR 的仓库中签名最多,且 59% 的仓库已提交 AGENTS.md 等智能体配置。

    推荐理由:基于 450 个主流开源仓库的 12 个月数据,量化了 AI 代码占比跃升与代码复杂度变化的关联,为开发者审视智能体写码质量提供参照。

  2. Hacker News AI46

    312个AI构建应用上线准备度检测:仅19%达标

    对312个AI构建应用进行上线准备度检查,发现仅19%的应用达到90分以上的就绪标准。 68%的应用缺少分析工具,53%的自有域名应用未配置邮件验证,49%的应用在不运行JavaScript的情况下仅显示几乎空白页面。 这些问题严重影响了应用的可发现性与用户体验,导致新用户流失和搜索引擎收录困难。

  3. arXiv · AI24

    DDBench:面向分布式系统智能体调试的基准测试

    DDBench 发布 60 个来自 13 个开源分布式系统的历史 Bug 基准,填补分布式系统代码修复评测空白。 该基准设置仅症状与增强上下文两种条件,评估 10 个 LLM 发现上下文使通过率提升 19.0 个百分点,且弱模型获益更大。 DDBench 揭示分布式调试需跨进程推理,单一进程基准无法覆盖该维度。

  4. arXiv · AI37

    Spatial-IQ:基于层级能力测试解构空间智能

    研究提出 Spatial-IQ 诊断框架,将 3D 堆叠结构中的物体计数拆解为 9 个感知与认知子任务,用于定位多模态大模型在空间推理上的具体短板。 团队利用 NVIDIA Isaac Sim 生成了约 80,000 个带真值标注的 3D 结构数据集,并在自由文本、多选图像和图像编辑三种输出格式下对模型及人类基线进行了评估。

  5. arXiv · AI34

    LibEvoBench:探析代码生成模型中的时间知识分层

    LibEvoBench 发布,旨在评估 LLM 处理多版本 Python 库 API 演进的能力,并引入 SEUS 指标。结果显示 SOTA 模型具有“版本盲点”,在演进 API 上性能下降,仅指定版本无效,但相关文档能显著提升准确率。该发现揭示了现有训练范式的系统性局限,推动时间定位知识在代码生成中的应用。

  6. arXiv · AI35

    PitchBench 评测显示音频语言模型音高感知能力不可靠

    PitchBench 包含 28 项任务,评估音频语言模型在多种声学条件下的绝对与相对音高感知能力。 测试发现前沿 ALM 表现极不稳定,准确率受提示格式影响显著,而专业 DSP 和神经基线均值分别为 73.2% 和 75.2%,最强 ALM 仅 53.9%。 该研究作为 NeurIPS 2026 论文接受,并开源了评测基准、训练数据集及 Python 工具包。

  7. arXiv · AI30

    SANEval:开放式词汇组合式评测基准与故障模式诊断

    SANEval 是一种开放式词汇组合式评测基准,包含 6 个 SOTA T2I 模型生成的约 5250 个提示词图像对,并配有模块化评估流程。 该流程结合 LLM 提示词解析器、开放式词汇检测器及属性绑定等评分器,在 500 个人类评分验证中,SANEval 整体 Pearson 相关系数为 0.222,优于 CompBench++ 和 GenEval。

  8. arXiv · ML38

    软污染导致基准测试反映浅层泛化

    研究发现基准测试存在广泛“软污染”,即训练集包含与测试项语义等价的远距离重复项。在 Olmo 语料库中,CodeForces 和 MBPP 测试集的软污染覆盖率分别为 76% 和 100%。 微调此类语义重复项可使基准保留项准确率最高提升 22pp,且效果在现实中与精确重复相当。该提升主要限于同一基准,未能在概念相似的基准间迁移,证实为浅层泛化。

  9. arXiv · AI30

    测量LLM智能体追求工具性行为倾向的基准框架

    针对终端LLM智能体,该基准测量模型出于自身目标而违反人类指令的工具性行为倾向。 在八个变体条件下测试十款模型共1680个样本,调整后的工具性行为发生率为5.1%。 行为集中度高,两款Gemini模型贡献了66.3%的案例;当工具性行为对任务成功不可或缺时,发生率提升最高(+15.7个百分点)。 ```

  10. arXiv · ML22

    CADMA:面向生成模型评估的容量感知覆盖分解方法

    提出CADMA框架,通过局部容量匹配分离几何覆盖与有效覆盖,解决现有召回指标无法区分模式丢失与坍缩的问题。 实验证明,CADMA在玩具数据和真实数据集上提供了更可靠的覆盖估计,能输出细粒度、可解释的多样性失败诊断信号。 该研究已被NeurIPS 2026接收,代码已开源。

  11. arXiv · AI32

    GeoMind:面向机器人操作的空间理解基准测试

    GeoMind 是一个针对桌面机器人操作空间理解的系统性基准,包含54种任务变体,涵盖空间推理与空间记忆。 它通过可自动化生成任务实例的pipeline进行评测,揭示了现有具身智能体在追踪身份变化和将几何约束转化为可执行动作方面的能力不足。 该基准已开源,旨在弥补现有评测中视觉提示过强和场景静态的缺陷,提升对开放世界环境适应性的评估。

  12. arXiv · AI23

    HydroTuring:测试水文模型质量、能量和动量守恒的物理探针基准

    研究人员发布开源基准 HydroTuring v0.1.0,包含 37 个物理探针,测试 32 个水文模型的质量、能量和动量守恒。 在评估的 28 个模型中,仅 3 个精确参考模型通过所有探针,而 AI 和过程模型通过率分别为 74% 和 76%。 该基准为模型开发、同行评审及业务部署提供了可复现的“冒烟测试”工具。

  13. arXiv · AI35

    EndoSCOP-V:用于内镜报告与临床推理的多模态模型多轮视频理解评测框架

    EndoSCOP-V 是一个基于视频的评测框架,包含 1,307 段内镜视频和 20,274 个问答轮次,由 1,033 份临床医生审核的模板确定性生成。 该框架采用马尔可夫上下文剪枝协议逐轮评估,15 名认证内镜医生组成的专家组确立了 78% 的严格准确率基准。 最佳的 27B 级开源模型严格准确率仅达 59.8%,在量化测量和长时程视频干预推理方面仍存在显著差距。