AstroVLBench:对天文观测推理任务中视觉语言模型的系统评估
提出包含 4100 多个专家验证实例的 AstroVLBench 基准,评估 6 个前沿视觉语言模型在 5 类天文任务中的表现,发现性能强烈依赖模态,且与通用基准排名不相关。
提出包含 4100 多个专家验证实例的 AstroVLBench 基准,评估 6 个前沿视觉语言模型在 5 类天文任务中的表现,发现性能强烈依赖模态,且与通用基准排名不相关。
SkillLifeBench 评估了 14 个模型在 388 个配对场景中的表现,涵盖实施、接口、运行时、组合及版本变更。生命周期任务允许智能体检查、选择和重新配置技能,同时完成可验证的用户请求。
summary_zh: V³AST-Bench 发布,包含 212 项风险任务和 18 个类别,通过专用运行时环境验证智能体造成的实际危害与结果。 基准包含 86,496 次试验和 90 多亿 token 交互,测试了 11 个模型和 5 种 harness 的 51 种组合。
研究构建了包含40个受保护技能的基准,发现8个科学智能体平台均存在技能泄露,其中4个平台在单次直接请求下攻击成功率达100%。 提出自进化红队代理SEEK,利用持久记忆整合响应证据。
summary_zh: 研究发布首个全面基准 SecPRBench,用于评估基于真实世界 bug-introducing commits 的 agentic security review。
LongSearchEval 框架通过轨迹感知评估 16 个大语言模型,收集 1,600 次运行记录,定位 6,545 个失败节点。 该框架在 100 个任务上验证答案组,人工验证显示答案标签一致性达 94.50%,特征对应精确率 98.11%。 该评估支持受控模型比较及回答相关内容的回溯检查。
Co-Design Bench 是一款包含 273 项任务的无参考基准,专门评测编码智能体将用户多模态需求转化为应用修改的能力。 该基准设有 ME 和 RE 两条赛道,涵盖 3 个能力维度,并采用 2,331 条隐藏专家验收标准进行“先裁决后反驳”的评分。 在十种模型端点中,最强者平均通过率 69.9%,但仅 26.4% 的任务被完全满足;多变更类型的仓库编辑完成率显著偏低。
ComFair 提出了一个可配置的多属性基准,生成 479,066 个双属性与多属性控制实例,旨在捕捉单一属性审计中不可见的交叉性伤害。 该基准在识别、选择、续写和对话任务中,将增强实例与任务等价源配对,以统一审计性能变化、新错误引入及模型排名稳定性。 在 10 个 LLM 上的实验表明,判别性任务即使总体变化微小也暴露敏感方向,生成性任务呈现更大且方向不对称的偏移,且模型排名随属性组合变化。
提出 SearchHorizonBench 基准,用于从执行经验中学习与评估 AI Agent 的搜索价值。基准包含 45,632 次执行和 3,168 个问题,历史校准可将 Brier 误差降低 16.2%。 搜索收益标准差为 21.4 个百分点,现有历史估计器仅能解释少于 2% 的点估计方差。在参考 token 价格下,自由选择观测比最佳常数动作带来 2.49 分效用机会。
InferPriv基准显示,LLM助手的推断隐私泄露率远超直接泄露率。在隐私感知系统提示下,GPT-6.1-Sol等模型直接泄露率近零,但推断泄露率仍达16.2%至25.2%。 仅评估显性泄露会严重低估大语言模型代理在处理日常任务时向第三方接收者泄露敏感用户信息的隐私风险。
研究者发布包含 28 种 AI 倾向性测量工具包,含专家撰引量规、合成数据集及标注需求区间。 这些合成数据集被设计为仅对单一倾向性敏感,支持快速原型化倾向性画像。该工具包有助于将 AI 行为研究置于熟悉的人类行为构念背景下理解。
清华大学团队提出 R2A-Sales 基准,揭示销售智能体静态合规率(89.9%-99.1%)与行动合规率(3.0%-17.3%)间存在 80.4-92.5 个百分点的差距。 该基准包含 2,016 对匹配样本,审计 19 个语义核心下的 21,888 次运行,覆盖 8 个主干模型及 Qwen3-8B 提示变体。 研究证明销售智能体可靠性需基于已提交行动而非规则复述来衡量。
研究人员提出基准评测 InfiniteWorld,通过系统化改变物理参数的模拟视频考察视觉语言模型的物理推理能力。 该基准包含五类任务及匹配输入设置,评估发现模型在地球常规问题中表现良好,但在观测物理规律改变时仍偏好使用熟悉规则,导致识别能力不足。
PACE是一个通过结构化研究循环支持应用数学猜想探索的证明智能体。 其核心Prover基于候选机制构建证明,并由独立Verifier对照原始目标校验。证据追踪内存区隔已验证前提与未决义务,支持任务上下文组合。 PACE在包含51个已知证明任务的ResearchProofBench上取得75.16分,完成20个证明。
提出一种将人类专家判断蒸馏至自动化评估系统的通用方法论,旨在构建具备独立性与问责机制的高stakes评估基础设施。 在AI新闻领域验证中,应用结构化编辑标准的自动评估者达到F1=0.81/0.97,显著优于未校准前沿模型,证明编码专家推理是提示词工程无法替代的关键步骤。
谷歌更新 Android Bench 榜单,将 Gemini 4 Argon 在安卓编程辅助上的成绩纳入对比,显示其大幅落后于 Claude 与 GPT 系列。
OpenAI 宣布其 AI 模型在数学、计算机科学和物理学三个领域取得三项重大突破。具体包括:证明所有维度的局部平滑化猜想及推导出卡凯亚猜想成立;推翻近 30 年的指数时间假设(ETH);为杨-米尔斯理论及部分量子色动力学(QCD)构造严格的数学存在性证明。
同一新闻,精选展示《OpenAI 宣布数学与物理科学突破》
Commonwealth Bank 引入 AI 语音机器人替换 45 名呼叫中心员工,但数周后便撤销该举措。 Klarna 也经历了类似过程,业务最终回流至更少人员。Gartner 数据显示,自助服务真正解决问题的比例仅为 14%。一项针对 5000 名客服代理的研究进一步揭示了有效替代方案。
独立测试显示,78个模型在80道题目中,Claude Opus 5.5以85.0的验证得分排名第一,正确回答了68道题。 同时,Nemotron 3.5 Super VL以715 tokens/秒的输出速度居首,Granite 4.0 Micro以每题0.000051美元的成本最低。 该排行榜通过OpenRouter API统一调用,并记录了请求与响应的哈希值以供验证。
OXR 正式开源,主模型 1.3B 参数在 OmniDocBench、olmOCR-Bench 和 DocParsingBench 三项基准测试中分别取得 97.18、87.84 和 87.76 分,均位列第一。
同一新闻,精选展示《OXR 1.3B 开源模型发布:通过 RSI 重塑 OCR 性能》
作者对 You.com、Tavily、Exa 和 Parallel 四款网页搜索 API 进行基准测试,使用 30 个代理风格查询(涵盖 GTM、保险和财务场景),通过 promptfoo 运行 90 次调用以评估准确性、延迟和可靠性。
OpenAI 发布三项数学突破,其中包含对指数时间假设 ETH 的反驳,Anthropic 随后也发布了独立的 ETH 反驳。MIT 教授 Ryan Williams 与两位 ETH 原始提出者组成工作组,正通过公开信和会议评估该结果,若算法有效将影响依赖该假设的众多论文及密码学安全边界。
同一新闻,精选展示《OpenAI 宣布数学与物理科学突破》
研究发现,对单个神经元进行微小变化即可显著引导大语言模型(LLM)的行为。 这一现象揭示了模型内部决策机制具有高度的局部敏感性与可解释性潜力。
QuickReview 发布自托管 AI 代码审查工具,在 GPT-6.1 Sol 模型下发现 97% 的高严重度缺陷,优于 Claude Code 和 Codex。每个 PR 审查成本约 2 美元,耗时 17.5 分钟,支持本地部署和数据安全隔离。
推荐理由:原文给出了高召回率缺陷捕获机制的成本与精度权衡,可评估其能否替代现有 AI 代码审查工具。
r/LocalLLaMA 社区基准测试覆盖 GLM 5.3 Flash 等 8 个模型,GLM 5.3 Flash 综合得分 76,整体领先。 测试于 2026 年 9 月 26 日至 10 月 5 日进行,涵盖智能、速度、编码等 10 个类别。 该基准通过聚合社区帖子与评论数据,为模型横向对比提供量化参考。
Privatrak 测试 23 个 AI 代理和 8 种人类访问场景发现,大多数使用浏览器的 AI 代理(如 ChatGPT、Grok、Claude in Chrome)在 User-Agent 和 WebDriver 上伪装成普通 Chrome 用户,甚至通过家庭 IP 访问,导致标准反爬虫工具失效。
编写专属 LLM 基准测试的核心是将评测架构(Harness)与测试内容(Tests)分离,并尽可能使用确定性程序验证而非 LLM 裁判。该方案通过目录化管理测试用例、支持部分重新运行及利用 API 缓存,帮助开发者以更低成本追踪模型在具体业务场景下的表现。
研究在 BIRD Mini-Dev 的 100 个文本转 SQL 案例中测试了三种提示条件,答案准确率分别为 20.0%、22.0% 和 24.0%,而执行完整性通过率为 39.0%、43.0% 和 40.0%。 研究定义正确答案无效追踪(CAIT)比率来衡量有效计算支持,结果分别为 55.0%、59.1% 和 45.8%,证明答案准确性与追踪有效性揭示了系统行为的不同侧面。
研究提出可扩展实验框架,通过“语义大海捞针”方法探测 LLM 对细微语义变化的敏感性,测试了 7 个模型在数万对文档上的表现。 框架揭示 LLM 存在独特的位置偏差,且模型对否定等扰动类型的惩罚尺度差异显著。 该框架为审计和比较当前及未来模型的评分行为提供了实用工具。
SATE-Bench 提出了一种包含316个真实场景和2525个多轮问答对的新基准,用于评估多模态大语言模型的视觉自我意识和主动视角探索能力。 该基准结合被动多视角控制和主动探索设置,模型从严重遮挡视角出发,需迭代查询相邻视角直至获得足够证据,并按步骤惩罚的效率奖励评分。
研究者发布 QFT-Bench 基准,包含 75 道高年级至研究级量子场论问题,涵盖核心子领域。 该基准通过符号验证与 LLM 裁判结合进行评估,测试了 39 个专有及开源模型。 前沿模型在复杂量子场论计算中表现优异,最高准确率超过 95%,但仍存在推理不忠实等缺陷。
非自回归评分裁判模型 RubriX 在留出测试集上达到 75.4% 精确准确率,优于 Jev 的 57.1% 和 Qwen3-8B 裁判的 49.8%。 该模型基于 LoRA 适配编码器,通过余弦相似度计算概率,无需文本生成。 在 3,000 tokens 场景下,RubriX 速度比 Jev 快 7.7 倍,比 Qwen3-8B 快 18.8 倍。
Benjamin Todd复盘了他关于AGI时间的预测与2024至2026年的基准实测,发现超级预测者、公众和专家普遍低估了AI的能力进步。他在2025年8月预测AI将在2026年底将FrontierMath准确率做到32%,但实际结果远超预期;他预测2026年底OpenAI和Anthropic年化收入为900亿美元,而实际早在2026年7月就达到了1000亿美元。
GPT 6 Astra 在包含 10 个 AI 模型、4,500 张投票的网站设计人类偏好测试中获胜。 Grok 4.6 和 Muse Spark 1.3 分列二三名,前三名胜率差 4.0 个百分点,100 份设计中产生 90 票/模型。
论文提出 BabelArena,这是包含 16,146 个实例、覆盖 23 种语言的大规模多语言基准。 通过 BabelFlow 生成并验证任务,实验表明低资源语言中的智能体工具使用错误更多且 token 消耗最高达英语两倍。 该基准揭示了跨语言智能体能力差距,为多语言可靠性和效率研究提供基础。
研究人员提出 CRM-Agent-Bench,这是一个包含 555 个有状态多轮任务的执行型基准,覆盖九大业务领域和 36 个能力标签。每个任务配备基于动作、参数、顺序、响应及目标状态的专属可执行契约,成功定义为契约中声明检查项的严格合取。
研究团队构建 AusClinBench 基准,基于澳大利亚临床指南编写 142 道问题,测试 28 个大语言模型在盲测及提供依据条款下的表现。 盲测准确率介于 51.5% 与 92.7% 之间;在提供条款时,86% 的盲测错误得以纠正。置信错误率范围为 6.6% 至 47.8%,基准旨在评估模型对本地规则的掌握情况,而非授权临床使用。
Omni-UBench 提出首个全模态安全评估框架,基于 183k 样本和 35+ 异构来源,从安全性、效用及可靠性三方面评测 15 个全模态大语言模型。 测试发现现有护栏难以识别跨模态隐蔽有害意图,且存在大量安全幻觉及对文本模式的过度敏感。 研究揭示了跨模态安全语义理解的不足,为开发更可靠的全模态护栏提供洞察。
引入针对理论物理推理的活体基准 PHYRD,包含 63 道 Reproduce 和 43 道 Discover 题目。 五个模型在 Reproduce 任务上的全题准确率为 49.21% 至 68.25%,在闭卷 Discover 任务上为 18.60% 至 74.42%。
SCI-AGENT-EXAM 发布,这是一个包含 11 个科学领域、7 类研究任务及 120 个专家策展任务的流程导向基准。 该基准采用混合评估协议,结合确定性程序验证与 LLM 评审,并分析执行轨迹中的进度与稳定性。 对 10 个前沿 LLM 智能体的实验显示 GPT-6 Astra 以 80.9 分获最高总分,但仅 26.0% 的运行超过 0.95 成功率阈值。