ClaimScope:面向数学命题审计的标签盲证人验证基准
研究提出包含72个任务的基准ClaimScope,用于通过证伪、范围界定、反例生成及修复审计数学命题。 实验评估了Qwen3-8B模型,验证器反馈使安全完成率达25/72,显著高于无检查器反馈的20/72。 该结果表明性能提升源于证人结构修正,而非广义推理能力的提升。
研究提出包含72个任务的基准ClaimScope,用于通过证伪、范围界定、反例生成及修复审计数学命题。 实验评估了Qwen3-8B模型,验证器反馈使安全完成率达25/72,显著高于无检查器反馈的20/72。 该结果表明性能提升源于证人结构修正,而非广义推理能力的提升。
Kolab 数据集包含 50 名来自 40 个职业的专业人士与 AI 智能体协作的 115 小时屏幕录制及质量判断。 该基准测试智能体预测专业用户采纳、修改或拒绝贡献的能力,并评估协作质量。 前沿模型高估了与专家的协作效果,难以区分高、低质量协作,Kolab 为此提供了真实数据支持。
研究构建了包含 248 个案例的基准 Sciπvot,用于评估 LLM 智能体在科学探索中的判断力。 该基准源于 6 个月内 26 个跨学科项目中高级研究人员纠正 LLM 智能体的记录。
summary_zh: 基准分数饱和后,完整解题轨迹仍保留能力预测信息。 研究通过回溯历史数据测试多种轨迹协议,成对判定相比仅用饱和分数降低预测误差5.3倍。 饱和基准仍具信号价值,但需专门方法设计以提取鲁棒信号。
whosellsdata.com发布了包含161家AI训练数据和强化学习环境供应商的无排名目录,支持按数据源和业务领域筛选对比。该目录详细列出了包括AfterQuery、Centific、Mercor在内的多家供应商提供的训练数据集、评估基准、RL环境及仿真服务,部分条目还附带有融资额度和最后核实日期。
OmniStepBench 提出了一种面向部署的智能体评估基准,旨在超越静态答案正确性,重点评估多模态感知、多步执行、工具使用及工件交付。该基准基于 OpenClaw 执行环境,将 22 个来源基准的 233 个任务组织成 2x3 工作负载矩阵,并在统一的基于契约的协议下进行评估。
研究团队发布 3R-Bench 基准,包含 150 个真实网络安全请求,评估 8 个 LLM 在直接提示及两种预设对话场景下的表现。 直接请求时合规率为 75.3%,在被拒绝先例后降至 57.8%,在接受先例后升至 81.0%;中性或失败对话使合规率从 74.2% 降至 57.2% 至 60.3%。 这些结果说明 LLM 的网络安全协助边界随对话历史动态变化,需超越直接请求拒绝率进行评估。
该研究提出 RedundancyBench 基准,用于检测 LLM 智能体轨迹中的冗余步骤,以提升计算效率。 基准包含来自 6 个 LLM 的 1920 条轨迹及 3613 个步骤级标注。 使用 Claude-Opus-5 等模型评估表明,在缺乏先验信息时检测仍具挑战性。
LingLanMedBench 涵盖 5 个领域、13 个子任务共 25,620 条数据,对 14 个大语言模型进行零样本评测。 结果显示全量基准最高分降至硬性子集的 31.9 分,暴露出临床推理缺陷。该基准为中医 LLM 研发提供标准化评估框架。
研究者提出双阶段基准 Doc2Harness,用于评估大语言模型构建编码智能体“框架”(harness)的能力,而非仅测试下游任务成功率。 基准在 19 个前沿模型上运行 328 个测试用例;GPT-6 Astra 通过率最高为 53.05%,最弱模型仅 27.44%,且失败多集中在跨模块功能划分上。 这是首个针对长时程框架工程的确定性基准。
研究提出 GraceBench 框架,利用 UI 转换图(UTG)对移动 GUI Agent 进行步骤级执行稳定性诊断。 GraceBench 包含 169 个任务、10 个应用及 2,909 个 GUI 状态,涵盖 3,718 条轨迹,指标包括偏差率与恢复能力。 评估显示 GPT-5.6 Sol 成功率最高但恢复能力最低,51.24% 的成功轨迹包含偏差或循环。
Model Atlas 工具通过设置能力权重来对比特定模型配置下的公开基准测试结果。 截至 2026 年 10 月 15 日快照,索引涵盖 134 个基准测试族、12 项能力及 730 个观测记录。 该工具支持通过筛选开源模型保持排名不变,并明确区分来自不同发布页面的独立测试数据。
Vals 指出 AI 路由器作为新原语,通过为每个请求动态分配模型以平衡质量、成本与延迟。其模拟最优路由器在 Vals Index 上比最佳单模型性能高 14 分,成本降低 40%。 现有基准测试难以评估长周期智能体任务中的路由决策,无法反映缓存成本与错误恢复机制。 Vals 计划开展独立比较,通过私有长周期任务测试各路由器在真实专业领域的表现。
蚂蚁百灵开源大模型Ling-3.1-flash,总参数560B、每Token激活约25B,上下文窗口1M,采用混合线性注意力与稀疏MoE架构,主打完成真实办公任务。
同一新闻,精选展示《蚂蚁百灵开源 Ling-3.1-flash 模型》
GPT-6-Astra 在 OpenAI Codex 环境中解决 50 个物理“turn-the-crank”难题中的 49 个,准确率达 98%,总成本约 116 美元。
Mistral 发布首个时序基础模型系列 Timestral,提供 5M、28M、123M、209M 四档模型。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三项基准上排名第一,参数量仅为此前最优模型的三分之二,并支持概率化多变量预测、past-only 和 known-future covariates。
推荐理由:209M参数的时序基础模型在三项公开基准中取得第一,并支持概率化多变量预测与CPU端部署。
Artificial Analysis 发布 AA-Robotics v0.1 评测,测试 GPT、Claude、Gemini 控制真实机械臂完成八项任务的能力。结果显示 GPT-6 Astra 总分最高为 69.4 分,但完成单任务平均耗时约半小时,比 20 秒的人类基线慢近两个数量级。测试表明通用模型在复杂物理交互和纠错能力上仍不稳定,且调用成本较高,专用具身模型仍有价值。
推荐理由:评测给出了通用大模型操控机械臂的效率与成本基线,有助于判断专用具身模型的替代空间。
WMT26评测中,受限赛道模型Qwen-MT-Lumen在23个细分领域获18冠3亚,被评Clear Winner;全赛道系统Wayfinder获5冠4亚,为唯一Best System Overall。Qwen作为基座被9个参赛系统采用,居首。
推荐理由:报告给出了14B模型与Agent系统在WMT26的具体名次和技术路径,为判断翻译模型轻量化与多智能体协作的落地效果提供了直接依据。
阿里Qwen-MT翻译模型在WMT26机器翻译评测中获18项冠军、3项亚军,翻译Agent Wayfinder获评整体最佳系统。Qwen-MT-Lumen基于Qwen3-14B模型,Wayfinder采用多模型协作架构,两者均针对WMT评测定制。
2026 年 10 月 15 日,Reddit 用户 WarningRegular 发布了 210 项人类能力与最佳 AI 系统的对照分析,显示 AI 已超越 45 项顶尖人类能力。AI 在 149 项能力上高于普通成年人,在 87 项能力上高于顶尖 1% 人群,但最弱项是味觉和机器人自修复,落后 3.5 个标准差。
T2J-BENCH 包含 63 个 PyTorch 转 JAX 迁移任务,要求检查点转换且执行环境禁用 torch。 20 种配置中最高仅获 0.676 分(满分 1.0),远低于 0.980 的理论上限。 TWINHARNESS 工具将该分数提升至 0.723,证明现有编码智能体尚难胜任跨范式迁移。
研究提出 MasalBench,用于评估 LLM 对波斯语谚语的语境与跨文化理解。测试 8 个 SOTA LLM,语境识别准确率超 0.90,但识别英语等价谚语时表现显著下降,最佳模型准确率为 0.79。 该基准揭示了当前 LLM 在文化知识、类比推理及低资源语言方面的局限,提供了评估其他低资源语言跨文化理解的框架。
summary_zh: EconCausal 包含 10,490 个语境标注因果三元组,源自 2,595 篇经济学与金融学顶级期刊研究,针对 19 个模型进行评测。
研究提出包含240条合成对话的MultiPartyTurnBench基准,涵盖2至5名说话人。 该基准评估话语结束与打断检测任务,发现学习系统在打断识别上表现不佳,准确性仅46.9%-54.7%。 这表明选择性发言权控制仍是多方语音交互中未解决的独特挑战。
论文提出多语言基准 LintEval,包含 13,061 个程序和 171,662 个 lint 告警,用于评估模型在保持功能不变的前提下减少 lint 告警的能力。
新基准 ListQA 包含 9045 个人工审核问题,要求 LLM 将 3-10 个元素组成结构化列表。 该基准覆盖 60 多个国家及 8 个类别,采用线性求和问题框架评估事实准确性。测试 34 个模型发现,最佳标准推理模型 LLM-Judge-F1 得分低于 37%,提供 Wikipedia 来源能显著提升成绩。
提出 ChemArgus 基准,通过细粒度评分、多模态任务及诊断归因特性评估化学推理能力。 GPT-5.6-Sol 无辅助解题得 23.2%,在两个顺序指标下得 28.8% 和 30.4%,差距衡量整合负担。 该基准旨在引导语言模型逐步走向化学专业知识,通过评分定位推理链断裂点。
研究提出MAPLE框架,以评估知识提取增强(KEE)技术对大语言模型的影响。 MAPLE在表层、概率层和采样外层解耦效应,通过测量答案恢复、破坏及排名变化进行诊断。研究评估了OLMo2、Qwen2.5和Llama3三种模型家族的六种KEE技术。 结果显示不同技术间存在显著差异与权衡,表明MAPLE在超越整体准确率方面具有重要价值。
OpenTWBench 推出台湾领域 LLM 评测套件,包含 25.3 万道考题及 1696 道生活常识题。 tw-exam-bench 基于 15 年国考数据,tw-formora-bench 针对现实台湾生活场景。 发现评测工具显著影响分数,更换答案提取方式使准确率从 20.8% 升至 93.9%。
研究团队发布包含1000道问题的评测基准BANGLAPLAN,专门用于测试LLM在孟加拉语环境下的约束规划能力。 该基准涵盖十类任务及四种语言变体,答案采用JSON格式。实验表明GPT-6.1 Sol准确率达98.7%,而多数直接回答配置低于“始终不可行”基线。 该基准为评估孟加拉语规划任务提供了可复现基础,并显示难题主要降低计划构建准确率。
MA-Bench 基于军事任务分析场景,包含 10 个合成文档包和 1257 项专家编写的通过/失败要求。 最优前沿模型在该基准的评分项中正确率为 62%;模型在事实陈述上得分最高(58%),在推断判断上得分最低(33%),且 60% 的失败归因于遗漏而非错误。 MA-Bench 已公开数据文档、评分规则、提示词及评分器。
论文提出 PersEvalBench 基准,包含 403 个多集数场景,测试 LLM 评估器能否识别用户历史信息的恰当使用。 该基准覆盖过度个性化、不足个性化和误用状态三类共九种错误亚型。在五个 LLM 评估器测试中,即使拥有完整对话历史,其识别受控个性化错误的能力依然有限。 结果证实评估器常混淆错误方向,且简化证据呈现方式对提升识别准确率帮助甚微。
Chatbot Arena 基于 Bradley-Terry 模型的评分假设 Luce 选择公理,但分析显示该公理在近似模型间失效。 1.8 百万投票数据显示,同模型不同版本间的投票决断性比预测高 1.37 倍,且效果随模型相似度增加。 通过引入 4 至 6 个参数并重点建模平局的修正方法,在保留集上预测优于原有模型,但未显著改变排行榜顺序。
该研究对 8 个 LLM 进行零样本基准测试,GPT-5.6 Luna 领先英文词汇指标,LLaMA 3.3 70B 取得最高 ROUGE 和 BLEU,Gemini 2.5 Flash 获最高孟加拉语事实性分数。 测试采用词法、语义指标及 LLM-as-a-Judge 评估,结果显示不同方法产生不同排名,单一指标存在局限。 这凸显了面向低资源语言需采用综合评估框架的必要性。
作者使用搭载 AMD Ryzen AI Max+ 395 和 128GB 内存的 MiniSforum MS-S1 MAX 设备,对多款本地部署的大语言模型进行代码能力基准测试。测试结果显示 Qwen3.8-27B 在编码任务中表现接近顶级云端模型,但响应速度较慢;Swift Q6_K 在速度优化后表现均衡;Gemma 4 在处理复杂代码审查任务时出现误报。
推荐理由:该评测通过六项真实代码基准测试,量化对比了本地端侧大模型与云端模型在实际开发场景中的性能差异。
名为 Benzi 的编译器驱动编码 Agent 在 SWE-bench Verified 基准测试中取得 82.4% 的得分,单次修复成本低于 3 美分。 该 Agent 先将代码库编译为包含调用、数据流、控制流和类层级的可查询图谱,并结合运行时追踪器,支持本地编译和 Bring Your Own Key(BYOK)模式。
Moralitybench.ai 伦理测试平台更新,新增 GPT-6 Astra、Muse Wonder 和 Gemini 4 Argon,累计评估 16 个模型配置。
Epoch AI 发布新基准 SpireClimb,通过视觉计算机使用框架评估 LLM 在 Slay the Spire 1 和 2 中的表现。前沿模型目前能在 StS1 基础难度达到 90% 以上胜率,在最高难度下 GPT-6 Astra 和 GPT-6.1 Sol 分别取得 17% 和 20% 胜率。测试还表明,StS2 作为较新游戏,模型表现未出现显著下降,显示通用策略推理能力正在增强。
推荐理由:通过冻结 StS2 版本隔离训练数据偏差,该基准为量化 LLM 在视觉计算机使用场景下的即时通用策略推理提供了可复现方法。
Google 工程师 Haydn Belfield 指出,自我改进型 AI 进展有限,DeepMind 尚未发现由 AI 驱动的 AI 研究加速。目前 AI 已编写超过 75% 的生产代码,但约 88% 的代码变更仍依赖人工审查。在内部基准 RE-Bench 上,Argon 解决了约半数任务,显著优于 Gemini 3.7 Flash 的 27%,但距离全自动化所需表现仍有差距。
Design Creativity Bench 评测显示,前沿 LLM 在 UI 设计创意上显著落后于人类设计师。 该基准测试了 16 个模型在 80 个开放式 UI 任务中的表现,从原创性、创意范围和适用性三个维度评估。最佳模型 GPT-6 Astra 得分 65.5,而人类参考标准为 92.3 分,差距明显。