Anthropic 发布开源 zkSNARK 原型 FlashProve
Anthropic 发布开源 zkSNARK 原型 FlashProve。在 Llama 4 Maverick 上,单张 H100 约 110 tokens/s 生成证明;单个证明约 19 MB,CPU 验证需 17 秒。
Anthropic 发布开源 zkSNARK 原型 FlashProve。在 Llama 4 Maverick 上,单张 H100 约 110 tokens/s 生成证明;单个证明约 19 MB,CPU 验证需 17 秒。
summary_zh: ColorConceptBench 评估了9个领先T2I模型对1281个隐含颜色概念的理解,发现各模型在语义类别间表现差异显著且对抽象语义缺乏敏感度。
该研究提出 ProofRank 基准,从简洁性、计算难度、认知简洁度、多样性及适应性五个维度评测大语言模型生成数学证明的质量。 实验发现各模型在证明质量上的差异远超正确性指标,且可通过提示词调节代理指标,但通常会以适度的正确性损失为代价。
研究人员提出类型学特征归纳(TFI)基准,用于诊断模型在推理规则归纳上的表现。 TFI 基于 195 种语言构建评估,LLM 仅凭 16 句对即可识别 59%-80% 的语言,表明其依赖先验知识而非纯归纳。 在模型无法识别的语言上,开源模型表现未超过多数值基线,显示模型尚未具备替代语言学家进行原始文本归纳的能力。
针对数据集蒸馏(DD)常通过非标准协议被高估的问题,大规模实验表明部分 SOTA DD 方法在 ImageNet-1K 等大模型上表现劣于或仅持平核心集(Coreset),且构建成本显著更高。
研究采用 DSPy 框架结合 HELM 基准,发现提示选择会显著改变排行榜。 使用 5 种提示方法评估 4 个前沿及 2 个开源大语言模型,结构化提示平均提升性能 6%,5/7 基准排名发生变动。 已开源 DSPy+HELM 评估工具及提示优化流程。
MM-OptBench发布了一个包含780个求解器验证实例的多模态优化建模基准,涵盖6个优化族和26个子类,用于评估模型根据文本和视觉输入构建数学公式及求解器代码的能力。
在 4,000 场 Chatbot Arena 对战中,5 个裁判模型的排名未随裁判更换保持稳定,Kendall's tau 中位数仅为 0.67,未支持原假设。
研究团队发布 AgenticFinBench,包含 230 项真实金融任务,涵盖 8 个类别、2 种语言和 4 个复杂度级别。 该基准提出无参考评估框架,结合特定评分标准与两阶段事实核查,以检测幻觉。实验显示,幻觉审核使领先者分数降低 7.58 分并降至第四名。 发布该基准旨在推动金融推理与事实核查发展,提升智能体在真实请求中响应的可靠性。
审计发现公共 Agent 排行榜存在评分器故障,导致通用 Agent 得分被低估 13 分,且排名顺序发生错误重排。 HAL 和 tau2-bench 存在成本重复计算、操作归属混淆及版本错配问题,重新评估可使分数偏差达 59-82 点且无报错。 建议报告评分比例、标记动作来源及锁定评估器版本,以暴露评估基础设施中的静默测量错误。
研究团队提出统一评测基准 DualWorldBench,用于评估智能体在受控符号-时序与接地-拓扑复杂度下的多目标规划能力。 该基准包含 TextWorld、SimWorld 和 DualWorld-VQA 三个组件,分别隔离测试符号规划、接地路径规划及感知理解。实验发现智能体在将局部感知转化为全局一致计划时存在普遍缺口,无法可靠将接地观察转化为可行动作序列。
研究提出“环境背景幻觉”现象,发布基于 AI2-THOR 的 VagueBench 基准,包含 1,303 个指令对,用于测试具身智能体在缺乏辅助上下文时的表现。 对 6 个 SOTA 具身智能体评测显示,任务成功率相对下降 19.65%,空计划率上升 54.10%,表明其依赖语言信号而非核心语义。 该现象在真实机器人系统中依然存在,可能导致错误决策和潜在安全风险。
EMBERS 是一种针对深度研究(DR)系统的缺陷引导模糊测试框架。该框架通过分析 1,932 条执行轨迹识别出 9 类重复缺陷,包括子问题制定、在线搜索和最终推理中的弱点。
LOLPlay 基准在《英雄联盟》中引入 36 个英雄任务,GPT-6 Astra 取得 25.0% 任务成功率。 该基准包含 82 个可执行子目标检查,对比了 3 种模型在 3 种推理设置下的表现。 研究揭示增加推理投入并未提升指标,且长请求导致交互轮次减少。
VibeVoted 引入“Vibe Voting”机制,由 10 家实验室的 10 个领先 LLM 依据清晰度、需求等 7 项明确规则对软件产品进行排名,以解决人工投票中“刷票”的问题。
普林斯顿AI Lab发布空间智能基准SSoN,该任务要求模型根据四张静态室内图像识别违背同一场景的那一张。在完整1000题测试中,人类准确率达到83.3%,受测视觉语言模型中表现最好的GPT-6 Astra Pro准确率仅为39.7%。研究发现多数模型表现甚至低于四选一25%的随机基线,且在移动和旋转类空间编辑上存在显著短板。
在 1,300+ 词联线索评测中,Google 的 Gemini 4 Argon 平均分 67,领先 OpenAI 的 GPT-6.1 Terra(64)及 Anthropic 的 Claude Opus 5.5(58)。 低级档位中,GPT-6 Luna 在 16 局对战中 14-2 击败 Claude Haiku 5.5;旧版 Claude Opus 4.6 得分 55,未遵循此规律。
StateBench是一个用于评估语言模型长上下文状态追踪能力的基准测试,通过四个难度级别测试模型在信息随时间演变时的表现。研究发现,在复杂状态追踪问题上,前沿模型如Gemini 3.8 Flash、Claude Opus 5.5和GPT-6 Sol与Luna随着输入长度增加准确率急剧下降,最低降至13%以下。
推荐理由:研究团队构建StateBench基准测试语言模型长文本状态追踪能力,发现前沿模型在复杂任务中准确率大幅下降,为架构选择提供依据。
商汤大装置以 9.4% 市场份额,再次蝉联 IDC 2026 上半年中国企业级 MaaS 市场 TOP2。 其通过 FDE 模式与“AI 123”交付法则,将复杂项目沉淀为可复制方法论,如缩短业务处理时长 60%、提升人均效率 70%。 该模式已服务 5 家上海大型国企,落地数十个产业场景,并斩获“CICC 2026 国资场景开放与行业应用挑战赛”四项大奖。
研究人员发布 Thinkingbox 沙盒及 Thinkingbox-Bench 基准,包含 507 个有策略约束的业务流程,涵盖零售、保险等场景。实验显示 Claude Opus 5 从 66.50% 的 pass@1 降至 47.53% 的 pass^20,Kimi-K3 从 57.37% 降至 17.60%,揭示单次成功与长期可靠性之间的巨大差距。
研究提出 PredActBench 基准,用于评测与不完美的预测工具交互的 LLM 对话智能体。该基准基于教育场景,使用 13 个 LLM 在 OULAD 及包含 60 门课程数据的 PredAct-CS 数据集上进行评估。
综述系统梳理了 Agent Skill 进化与评估领域,识别出从孤立创建向自动化评估驱动进化的范式转变。 进化被分类为执行反馈、轨迹蒸馏、压缩和强化学习四种范式,旨在提升技能效用与可靠性。 文章分析了六类以 Skill 为中心的 benchmark 类别,指出了基准覆盖、权衡及指标丰富度的结构性差距,并提出了构建可扩展且安全可验证的 Skill 生态系统的开放方向。
UXBench 是首个基于真实用户反馈信号的基准,包含 7,400 个测试实例,涵盖 8 大场景和 83 个领域。 对 26 个前沿模型进行评估,结果显示用户反馈预测是可学习的能力,并揭示了影响体验的多个维度。 该基准确立了新的评估标准,呼吁关注定制化 UX 优化,推动以用户为中心的大模型扩展定律。
InteractionBench 基准在统一录音下评估 7 个实时语音系统的 4 个维度,包含 13 个场景下每系统 221 项测试。 测试了 GPT-Live 等 7 个系统共 1,519 次,发现全双工系统的时序与任务准确性排名相关($\rho = 0.83$),级联系统任务得分最高(38/50)但时序偏低。
研究引入 SAC-Bench,包含来自 188 个声事件类别的 616,031 个独特片段,用于测试 Audio-Language 模型在语音断言与声学证据矛盾时的响应。
IdeaTaste 基准测试显示,LLM 在引用匹配和创意匹配上仅达人类水平的 26% 和 18%,存在显著差距。 该基准涵盖 6 个语言模型和 4 个研究领域,生成了超过 90,000 份研究提案。增加上下文或规模均未能有效缩小与人类社区的差距。 研究表明 AI 科研瓶颈在于将方向转化为具体方法,IdeaTaste 作为开源排行榜持续更新评测。
Omni-Life 基准测试了 12 种主流全模态实时 AI 模型在 400 个视频中的表现。 在需要协助的 290 个视频中,模型完全处理正确的比例最高仅为 4.48%,显示现有模型难以提供可靠帮助。 增加任务提醒可将召回率提升 17.12 个百分点,但每分钟约增加 4.6 个多余响应。
FindLink 在 1,545 题固定证据测试集上,将均衡宏分数从 67.95 提升至 87.25。 该框架通过 Premise Grounding 构建前提,利用 Structured Reasoning 生成证据条件答案,并引入确定性编译器验证结构一致性。 研究指出,科学推理不仅需识别前提,还需评估前提所支持的逻辑连接。
研究者提出 VisCodeBench,一个包含 2,672 个样本的文生可视化基准,覆盖教育、科学和通用场景。 该基准评估了 Codex、Claude Code 和 LIDA 三个系统与多种 LLM 的组合,在七个指标上表现不一。 最佳系统的数据相似度仅为 0.81,且即使最强系统生成结果也需 39-78 秒。
该研究提出 BestRand,通过随机采样降低模型评测成本,平均将高误差风险降低 50.2%,估算误差降低 16.4%。 方法在 70+ 文本、多模态及智能体基准上验证,OOD 估算误差平均降低 21.8%,且仅需 51.3% 的构建成本。 随机采样虽高效但存在罕见大误差,BestRand 在保留效率的同时显著减少高误差尾部风险,代码与数据已公开。
形式化语法透镜基准测试生成不同计算能力层级的数据,用于区分 GPT-5.5 及其 Pro 版本的推理水平。 测试 GPT-5.5 及 GPT-5.5-Pro 的 Medium、High、XHigh 模式,数据接受率分别为 16%、40%、43% 和 52%。 随着测试时计算量增加,模型回答与人类回答分歧加剧,提示通用能力与对齐之间的潜在冲突。
针对2026年10月周期的公开排行榜,11款商业化AI“人性化”工具在35%-65%含事实文档中更改或遗漏数字、日期等关键信息。 其中多数修改集中于引用片段;按仅统计数字和名称计算,10款工具在20%以上文档中仍发生更改。
DistDebug-Bench 推出,收录来自 11 个广泛使用的分布式系统的 120 个真实世界 Bug,覆盖 5 种编程语言和 10 种故障模式,用于评估 LLM Agent 在代码层面诊断复杂系统故障的能力。
研究者发布 CR-Bench-v2 缺陷中心评估框架,包含 584 个实例及 174 个 CR-Bench-Verified 子集,旨在解决现有基准缺乏标准化的问题。
PixelBench 评估 LLM 逐像素生成图像能力,无需额外图像分词器。 采用 RGB 调色板加索引网格方法,T2P 生成可识别图像,I2P 在低分辨率下优于专用算法。 引入 Pixel Reconstruction Tuning (PRT) 微调 Molmo2-4B,在 16 项基准上提升性能。
LSIRM方法通过分析1,348个语言模型在5,761道BBH题目上的表现,揭示了总分数掩盖的模型-题目交互差异。 研究发现,使用选项标签(如A、B、C、D)评分时,LSIRM映射中相近题目往往拥有相同正确答案,且剔除答案类别贡献后,两个总分仅差14题的模型排名会发生数百位互换。
arXiv 论文提出 BOBA-Bench,包含 280 条由 140 个开源项目衍生出的 20 连任务链。评估显示 10 款编码代理在单步任务中完成率高达 95%,但在连续链式任务中降至 51%。研究指出原因并非代码质量变差,而是代理在自身测试通过后即标记完成,导致后续请求建立在含错代码上。引入外部验证和一轮修复可将链式完成率提升至 59%。
推荐理由:论文通过长链任务揭示了编码代理的自我验证盲区,指出外部校验能显著降低错误累积率。
研究提出 PKPS(Product Kernel Perspective Space)方法,用于解决全量基准评估成本高昂的问题。 该方法通过嵌入响应对比相似而非完全相同的查询,有效利用稀疏和非配对的评估数据。 理论上证明 PKPS 在查询效率上优于仅使用密集配对数据的方法,实验显示其在两个大型基准套件中优于基线模型。
AgentHop 发布 1011 道选择题及七工具沙箱,拆解检索、合成、工具调用等资源管理四轴评估。 覆盖 19 个模型发现显著家族特征:GPT 早期提交,DeepSeek 与 Kimi 过度搜索。 论文已被 NeurIPS 2026 接收并开源完整测试集与测试框架。
UA-JudgeExam基准显示Claude Haiku 4.5在无题干时盲猜得分0.383,远高于随机水平。剔除泄露项后GPT-5.6在隐藏题干时仍得0.515,但过滤信号不具通用性。