跳到正文
10月28日周三
  1. arXiv · AI35

    Co-Design Bench 发布:面向 Agentic 模型的多模态协同编码评测基准

    Co-Design Bench 是一款包含 273 项任务的无参考基准,专门评测编码智能体将用户多模态需求转化为应用修改的能力。 该基准设有 ME 和 RE 两条赛道,涵盖 3 个能力维度,并采用 2,331 条隐藏专家验收标准进行“先裁决后反驳”的评分。 在十种模型端点中,最强者平均通过率 69.9%,但仅 26.4% 的任务被完全满足;多变更类型的仓库编辑完成率显著偏低。

  2. arXiv · AI26

    ComFair:用于 LLM 交叉公平性的可配置多属性基准

    ComFair 提出了一个可配置的多属性基准,生成 479,066 个双属性与多属性控制实例,旨在捕捉单一属性审计中不可见的交叉性伤害。 该基准在识别、选择、续写和对话任务中,将增强实例与任务等价源配对,以统一审计性能变化、新错误引入及模型排名稳定性。 在 10 个 LLM 上的实验表明,判别性任务即使总体变化微小也暴露敏感方向,生成性任务呈现更大且方向不对称的偏移,且模型排名随属性组合变化。

  3. arXiv · AI20

    SearchHorizonBench:评估 AI Agent 搜索价值的新基准

    提出 SearchHorizonBench 基准,用于从执行经验中学习与评估 AI Agent 的搜索价值。基准包含 45,632 次执行和 3,168 个问题,历史校准可将 Brier 误差降低 16.2%。 搜索收益标准差为 21.4 个百分点,现有历史估计器仅能解释少于 2% 的点估计方差。在参考 token 价格下,自由选择观测比最佳常数动作带来 2.49 分效用机会。

  4. arXiv · AI37

    R2A-Sales:面向目标导向销售智能体的规则-行动差距基准测试

    清华大学团队提出 R2A-Sales 基准,揭示销售智能体静态合规率(89.9%-99.1%)与行动合规率(3.0%-17.3%)间存在 80.4-92.5 个百分点的差距。 该基准包含 2,016 对匹配样本,审计 19 个语义核心下的 21,888 次运行,覆盖 8 个主干模型及 Qwen3-8B 提示变体。 研究证明销售智能体可靠性需基于已提交行动而非规则复述来衡量。

  5. arXiv · AI40

    PACE:用于自适应猜想探索的研究证明智能体

    PACE是一个通过结构化研究循环支持应用数学猜想探索的证明智能体。 其核心Prover基于候选机制构建证明,并由独立Verifier对照原始目标校验。证据追踪内存区隔已验证前提与未决义务,支持任务上下文组合。 PACE在包含51个已知证明任务的ResearchProofBench上取得75.16分,完成20个证明。

  6. arXiv · AI42

    专家判断规模化蒸馏方法

    提出一种将人类专家判断蒸馏至自动化评估系统的通用方法论,旨在构建具备独立性与问责机制的高stakes评估基础设施。 在AI新闻领域验证中,应用结构化编辑标准的自动评估者达到F1=0.81/0.97,显著优于未校准前沿模型,证明编码专家推理是提示词工程无法替代的关键步骤。

  7. 36氪85

    OpenAI 集中公布三项重大科学突破并建立外部验证机制

    OpenAI 宣布其 AI 模型在数学、计算机科学和物理学三个领域取得三项重大突破。具体包括:证明所有维度的局部平滑化猜想及推导出卡凯亚猜想成立;推翻近 30 年的指数时间假设(ETH);为杨-米尔斯理论及部分量子色动力学(QCD)构造严格的数学存在性证明。

    同一新闻,精选展示《OpenAI 宣布数学与物理科学突破》

  8. Hacker News LLM43

    Show HN: 我找到了一个更准确的 LLM 基准排行榜

    独立测试显示,78个模型在80道题目中,Claude Opus 5.5以85.0的验证得分排名第一,正确回答了68道题。 同时,Nemotron 3.5 Super VL以715 tokens/秒的输出速度居首,Granite 4.0 Micro以每题0.000051美元的成本最低。 该排行榜通过OpenRouter API统一调用,并记录了请求与响应的哈希值以供验证。

  9. TechCrunch · AI89

    OpenAI 与 Anthropic 宣称模型推翻指数时间假设

    OpenAI 发布三项数学突破,其中包含对指数时间假设 ETH 的反驳,Anthropic 随后也发布了独立的 ETH 反驳。MIT 教授 Ryan Williams 与两位 ETH 原始提出者组成工作组,正通过公开信和会议评估该结果,若算法有效将影响依赖该假设的众多论文及密码学安全边界。

    同一新闻,精选展示《OpenAI 宣布数学与物理科学突破》

10月27日周二
  1. Hacker News AI77

    QuickReview 发布自托管 AI 代码审查器,高召回率捕捉缺陷

    QuickReview 发布自托管 AI 代码审查工具,在 GPT-6.1 Sol 模型下发现 97% 的高严重度缺陷,优于 Claude Code 和 Codex。每个 PR 审查成本约 2 美元,耗时 17.5 分钟,支持本地部署和数据安全隔离。

    推荐理由:原文给出了高召回率缺陷捕获机制的成本与精度权衡,可评估其能否替代现有 AI 代码审查工具。

  2. Hacker News LLM67

    如何编写和运行你自己的 LLM 基准测试

    编写专属 LLM 基准测试的核心是将评测架构(Harness)与测试内容(Tests)分离,并尽可能使用确定性程序验证而非 LLM 裁判。该方案通过目录化管理测试用例、支持部分重新运行及利用 API 缓存,帮助开发者以更低成本追踪模型在具体业务场景下的表现。

  3. arXiv · NLP33

    LLM 数据智能体执行完整性审计:超越答案准确度的结构化计算评估

    研究在 BIRD Mini-Dev 的 100 个文本转 SQL 案例中测试了三种提示条件,答案准确率分别为 20.0%、22.0% 和 24.0%,而执行完整性通过率为 39.0%、43.0% 和 40.0%。 研究定义正确答案无效追踪(CAIT)比率来衡量有效计算支持,结果分别为 55.0%、59.1% 和 45.8%,证明答案准确性与追踪有效性揭示了系统行为的不同侧面。

  4. arXiv · NLP30

    LLM 文档相似度评分敏感性测试:语义“大海捞针”实验框架

    研究提出可扩展实验框架,通过“语义大海捞针”方法探测 LLM 对细微语义变化的敏感性,测试了 7 个模型在数万对文档上的表现。 框架揭示 LLM 存在独特的位置偏差,且模型对否定等扰动类型的惩罚尺度差异显著。 该框架为审计和比较当前及未来模型的评分行为提供了实用工具。

  5. arXiv · NLP28

    SATE-Bench:评估多模态大语言模型在遮挡场景下主动探索空间理解的新基准

    SATE-Bench 提出了一种包含316个真实场景和2525个多轮问答对的新基准,用于评估多模态大语言模型的视觉自我意识和主动视角探索能力。 该基准结合被动多视角控制和主动探索设置,模型从严重遮挡视角出发,需迭代查询相邻视角直至获得足够证据,并按步骤惩罚的效率奖励评分。

  6. arXiv · NLP38

    LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

    研究者发布 QFT-Bench 基准,包含 75 道高年级至研究级量子场论问题,涵盖核心子领域。 该基准通过符号验证与 LLM 裁判结合进行评估,测试了 39 个专有及开源模型。 前沿模型在复杂量子场论计算中表现优异,最高准确率超过 95%,但仍存在推理不忠实等缺陷。

  7. Hacker News AI57

    Benjamin Todd:几乎所有AI预测都低估了进度

    Benjamin Todd复盘了他关于AGI时间的预测与2024至2026年的基准实测,发现超级预测者、公众和专家普遍低估了AI的能力进步。他在2025年8月预测AI将在2026年底将FrontierMath准确率做到32%,但实际结果远超预期;他预测2026年底OpenAI和Anthropic年化收入为900亿美元,而实际早在2026年7月就达到了1000亿美元。

10月26日周一
  1. arXiv · NLP26

    AusClinBench:基于澳大利亚临床政策的大语言模型确定性评分基准

    研究团队构建 AusClinBench 基准,基于澳大利亚临床指南编写 142 道问题,测试 28 个大语言模型在盲测及提供依据条款下的表现。 盲测准确率介于 51.5% 与 92.7% 之间;在提供条款时,86% 的盲测错误得以纠正。置信错误率范围为 6.6% 至 47.8%,基准旨在评估模型对本地规则的掌握情况,而非授权临床使用。

  2. arXiv · NLP28

    Omni-UBench 基准测试全模态 LLM 安全护栏

    Omni-UBench 提出首个全模态安全评估框架,基于 183k 样本和 35+ 异构来源,从安全性、效用及可靠性三方面评测 15 个全模态大语言模型。 测试发现现有护栏难以识别跨模态隐蔽有害意图,且存在大量安全幻觉及对文本模式的过度敏感。 研究揭示了跨模态安全语义理解的不足,为开发更可靠的全模态护栏提供洞察。

  3. arXiv · NLP23

    SCI-AGENT-EXAM:针对科学研究任务智能体的基准测试

    SCI-AGENT-EXAM 发布,这是一个包含 11 个科学领域、7 类研究任务及 120 个专家策展任务的流程导向基准。 该基准采用混合评估协议,结合确定性程序验证与 LLM 评审,并分析执行轨迹中的进度与稳定性。 对 10 个前沿 LLM 智能体的实验显示 GPT-6 Astra 以 80.9 分获最高总分,但仅 26.0% 的运行超过 0.95 成功率阈值。