PowerBench 基准测试:衡量语言模型在权力转移请求中的偏见
研究人员发布 PowerBench,评估 24 个语言模型在权力转移请求中的偏见。实验显示模型拒绝“权力攫取”多于“权力剥夺”,且拒绝率随受影响方规模扩大而上升。模型偏向协助他人从美国夺取权力,但支持美国在不造成他人损失时获取权力。
研究人员发布 PowerBench,评估 24 个语言模型在权力转移请求中的偏见。实验显示模型拒绝“权力攫取”多于“权力剥夺”,且拒绝率随受影响方规模扩大而上升。模型偏向协助他人从美国夺取权力,但支持美国在不造成他人损失时获取权力。
研究者提出 SovereignNegotiation-Bench,这是一个包含 1,764 个成对场景的基准测试,用于评估个人 AI 智能体在委托谈判中的五项法律责任。在测试的 17 个开源模型中,忠实成功率(faithful success)介于 6% 至 75% 之间,且 48% 的协议至少违反了一项义务。该基准代码、场景及日志将开源发布。
VTBench 是一个专为评测视觉分词器(VT)的基准,覆盖图像重建、细节保留和文本保留三个核心任务。实验发现连续变分自编码器(VAE)在视觉表示上优于离散视觉分词器。该研究代码和数据集已公开,并被 AACL-IJCNLP 2026 接收。
研究发现自动 Harness 进化在 Terminal-Bench 2.1 上无法超越简单测试时缩放基线,且泛化能力有限。 但在长程博弈场景中表现优异,ARC-AGI-3 提升 80.0%,EdgeBench 提升 10.9%。 这凸显了在匹配预算和留出集评估下区分真实改进与过拟合的必要性。
该研究提出了“意图-执行”间隙概念,指出 AI Agent 性能受限于模型假设与执行框架(harness)行为的匹配度。研究开发了可定制框架 Simple Strands Agent (SSA),旨在捕获跨模型族的通用模式及特定偏好。
TPRS指标揭示了安全基准中代理可见表示的变化会显著影响攻击成功率(ASR),其结果不具备跨表示的泛化性。在Agent Security Bench上,将威胁相关工具名称替换为中性名称后,GPT-5-mini的ASR上升11.67个百分点,Claude Haiku 4.5上升13.21个百分点。该发现表明,单一表示下的安全得分存在局限性,评估鲁棒性需在受控的威胁保持表示集合中验证。
研究团队推出 SyntaxBench,这是一个针对大语言模型字符级推理能力的诊断性基准与统计评估框架。该框架包含字符计数、回文检测等五项核心任务及一项子串提取压力测试,在 2B 至 32B 参数规模的八个开源权重模型上进行了评估。 评估结果显示,分词方式显著影响准确性,且推理模式并非总是有益;其中 index_to_span 任务表现最差,最佳四样本精确匹配准确率仅为 6.75%。
WebFovea 视觉网页智能体在 WebRetriever Challenge 2026 中获第二名,最终得分 57.0。 系统通过加固模型与浏览器间的代码回路,修复坐标偏移、原生控件失效及 token 污染问题。 使用相同模型时,优化 harness 使隐藏集得分从 31.0 提升至 57.0。
WebUIProof 是一个面向执行过程的基准测试,通过结构化规范和密集的可执行交互测试评估 WebUI 代码生成器,覆盖通用 WebUI 和 3D 交互模拟两大类任务。
研究团队推出 OpenGameEval 基准,用于在 Roblox Studio 中评估 AI 智能体的编程与探索表现。该框架对 13 个前沿模型进行测试,最优模型在 84 个核心任务中的单次通过率仅为 51.7%,且六项任务无一模型能解决。探索行为直接预测成功率,深入检查所有相关对象的运行通过率比不检查的高出 13.4 个百分点。
研究提出 AlgoREval 基准,包含 599 道题目、覆盖 77 种经典算法、14 个领域、7 种编程语言及 4 种图输入表示,用于隔离评估 LLM 的参数化代码检索能力。 在零样本设置下评估了 15 个 7B 至 34B 参数模型,发现不同语言和输入表示间检索准确率存在显著差异;检索增强能提升复杂算法准确率,SFT 带来更广泛的语言收益,GRPO 在特定语言上收益更大。
SimuVerity 提出包含 101 项文本到可执行 Simulink 模型生成任务的基准,覆盖十个工程领域。该基准通过分层评估器检测交付、可执行性与工程资格,并从准确性等六个维度对合格模型打分。在评估的六个智能体系统中,最佳系统的综合得分仅为 42.86,显示结构相似性并非工程性能的良好替代指标。
研究团队提出交互式基准 ClarifyCodeBench,专门评估大语言模型在代码生成任务中主动澄清模糊需求的能力。 该基准基于真实编程任务构建,并引入“轮次折扣关键问题率”和“最优轮次遵循度”两项指标以量化交互质量。 在对六款先进 LLM 的系统评估中发现,代码生成能力与需求澄清能力存在解耦现象,且模型在多重模糊性场景下的表现会显著下降。
研究人员发布了一个包含1042道题目的专家验证基准,用于评估大语言模型在哥伦比亚法律体系中的可靠性。 在闭卷选择题中,Gemini 3.1 Pro 的准确率最高达0.905,但所有模型在自由文本法律回答中的事实正确率均不超过0.45。
研究引入 FinSkillBench 评估套件,通过 2,603 个时间点和 12 类子任务验证金融智能体的量化执行能力。 跨 9 个模型的配对分析显示,精选技能包将平均得分提升 16.2 点,显著优于单集生成的 0.5 点增益。 进一步分解发现,可执行工具单独贡献 19.5 点,文档单独贡献 5.6 点,且两者结合呈现次加性,表明技能溢价取决于模型、资源及系统整体。
当前时间序列预测(TSF)评测标准过于狭窄,仅关注留出集误差或高斯噪声等随机扰动,掩盖了部署系统中由结构化事件引发的语义、因果及系统级故障模式。随着TSF基础模型兴起且预训练语料库缺乏审计性,文章主张采用情景化压力测试,为每个测试实例引入语义场景、明确故障算子及可量化难度。该变革使评测更具可解释性、可归因性及部署相关性,帮助社区不仅判断模型准确度,还能明确其在何种条件下失效及原因。
该研究提出世界编辑概念,旨在干预现有可执行世界并保持关键属性不变。 I. G. M. World 引入了针对 Minecraft 和 Terraria 的 I. G. M. Bench,包含 110 个任务和 1100 多项可执行标准。 前沿编程智能体在严格任务标准下解决率为 78.2%,且成功率随干预深度增加而显著下降,主要瓶颈在于使编辑后的世界符合预期行为而非构建失败。
研究者对开源 System-1 模型 Laya 与托管模型 Jev 在 11 个 Agent 决策点进行了配对评估,Jev 在 9 项任务上准确率显著更高,提升幅度达 10.8 至 46.0 个百分点。 审计发现前期分析存在成本遗漏和阈值偏差,导致部分部署优势宣称被修正,例如节省率从 23.9% 降至 4.3%。全部测试数据与分析代码已公开。
团队推出 XiangqiBench 基准,通过中国象棋残局测试 LLM 智能体在对手应对下的闭环执行能力。 该基准基于 119 个战术残局,记录 12 个前沿模型的 8,568 条多轮轨迹。研究发现模型存在转换、一致性和模拟三重差距,静态评估高估了实际胜率。 研究指出智能体评估应关注闭环结果并同步报告可靠性。
HakemBench 1.0 发布,包含 2,346 个条目和 7 个赛道,采用 CC BY 4.0 协议开源。 基准测试通过宏观 F1、校准度和选择性自动化评分,由 16 个模型组成的排行榜中,最高综合分为 0.888。
彭博行业研究显示,随着 DeepSeek V4.1 Flash 发布,中国顶尖 AI 模型在基准测试得分上仅落后美国竞争对手 3%,这一差距较 5 月份的 9% 明显收窄。
Aleph Alpha 对阿里(Qwen)、DeepSeek 和 Moonshot AI(Kimi)的模型进行测试,在967个敏感话题上,其自研AI评分系统将仅17%至41%的回答评为平衡,其余则重复官方立场、回避或拒答。
美团 LongCat 团队构建了 MineExplorer,一个在开放世界中做到分钟级长程任务的评测基准,并开源了相关数据和代码。基准包含 813 个人工验证的高质量任务实例,支持 1 到 4 级多跳推理任务。
推荐理由:文章给出了18款多模态大模型在MineExplorer动态环境中的具体成绩,读者可以据此判断感知与长程规划之间的实际能力断层。
美团 LongCat 团队基于 762 万实体的知识图谱构建了搜索智能体评测基准 LoHoSearch,包含 544 道题目。该基准通过双维度难度控制生成更具挑战性的问题,最强模型 GPT-5.5 准确率仅 34.74%,显著低于其在 BrowseComp 上的 80% 以上表现,且现有上下文管理策略的增益也大幅收窄。
GPT-6 Astra 在 9 月 21 日通过独立运行 37,140 回合,首次实现 LLM 智能体通关 NetHack 3.6.7 的 Hardfought 难度。该智能体未依赖预设代码,而是通过自主编写和修复 Python 工具链构建代理框架,并利用外部参考资料和终端状态解析保持决策连续性。整个过程耗资约 300 美元额外算力及 200 美元订阅费,相关证据与代码已开源。
推荐理由:文章完整披露了 GPT-6 Astra 实现 NetHack 通关的独立运行架构、成本及证据链,为评估 LLM 智能体自主构建工具解决复杂问题的能力提供了具体案例。
新加坡南洋理工大学安波团队发布报告《Finding the Right Fit: Model–Harness Interactions across Agent Tasks》,系统研究了 OpenHands、DSH、PI 和 openJiuwen 等框架在不同任务下的表现。
Opus 5.5 和 Sonnet 5.5 发布后,社交媒体涌现大量利用其制作 MV、3D 游戏和交互式网页的案例。原文分析了这些爆款 Demo 背后的制作流程、成本与时间,指出模型能力正从辅助单一步骤延伸至贯穿整个创作链条,且直观 Demo 已成为新的非官方评测基准。
Microsoft 与 Hugging Face 联合发布了 ThinkingBox 沙箱环境和 ThinkingBox-Bench 基准,现可通过 Hugging Face 和 OpenEnv 访问。
推荐理由:原文提供了 507 个有状态业务工作流的 20 次重复基准数据,以及按次成功成本与可靠性成本对比,可据此判断模型在真实数据库记录变更中的表现差异。
MiniMax M3.1-Flash实测生成3D网页、动效设计和鸡尾酒动画,前端表现媲美Claude Opus 5.5。该模型基于原生多模态训练支持1M上下文,能自主补全设计细节。MiniMax H3开源一个月内下载量超2400万次,体现多模态积累反哺文本能力。
Red Hat 安全团队测试了 Jev、Qwen3.6、Nemotron 等 9 种 AI 护栏方案。在提示词注入和内容安全基准测试中,Jev 的准确率约为 86%,并未跑赢 LLM-as-a-judge(Qwen3.6 准确率 89%)或预训练分类器(准确率 89%)。预训练模型兼具极低延迟和极高准确率,而 Jev 等决策模型虽然支持零样本使用,但在速度和成本上并没有展现出压倒性的优势。
Mercor 的研究显示,AI 模型在结构化记账任务上的速度和准确率超过平均经验五年半的持证会计师。该研究使用 APEX Accounting Benchmark,结果显示当前最佳模型 Claude Opus 5.5 满足了 61.8% 的评分标准。
NVIDIA 在 Hugging Face 和 GitHub 发布开源表格基础模型 Kumo Tabular,它基于 Transformer 架构,针对表格数据的列、行和上下文注意力设计,支持分类和回归任务,无需训练、调参或特征工程即可通过单次前向传播进行预测。
推荐理由:文章给出了模型规模、基准排名与调用代码,读者可以据此判断它是否适合替代传统树模型流程。
Ling-3.0-flash-Fin 近日在 FrontierFinance System Performance 与 Vals AI Finance Agent v2 两项金融智能体评测中取得领先成绩。
百灵大模型 Ling-3.0-flash-Fin 在 FrontierFinance System Performance 与 Vals AI Finance Agent v2 两项评测中取得领先成绩。
9 月 28 日,Qwen-Audio-3.1-TTS 在 Artificial Analysis 的 Controlled Voice Arena 中以 1177 的 Elo 评分位列全球第一。该模型支持多语种及方言合成,强调声音情绪和语速的自然表达。当前 Qwen-Audio 全线语音模型价格下调,最高降幅达 95%,API 服务已上架千问 AI 平台。
推荐理由:Qwen-Audio-3.1-TTS 登顶权威评测,且全线模型大幅降价,开发者能直接获取低成本的多语种语音 API。
Claude 在 Claude Science 中通过单提示词运行数日,成功计算了简化模型中的九圈散射振幅,打破了此前八圈纪录。该任务总成本仅数千美元,结果由物理学家 Lance Dixon 独立验证。
推荐理由:展示了Claude在学术级计算任务中低成本突破历史纪录的能力,提供了可量化的成本与验证细节。
英国 AI 安全研究所(AISI)利用 EvalEval 的基础设施公开分享评测结果,以提升评测科学的可复现性和可验证性。该发布包含 HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench 和 Terminal-Bench 2.0 五个基准的验证结果,覆盖 Claude Opus 4 系列、GPT-5 系列等六款前沿模型。
腾讯混元团队联合清华大学和北京大学提出 WebCraftBench,将软件测试方法引入 AI 网页生成评测。该基准包含 369 条真实用户需求和 5,088 条验收标准,通过让智能体实际交互并利用代码覆盖率查漏,从美观度、易用性和需求符合度三个维度进行评分。在 17 个前沿模型的实测中,WebCraftBench 的判断与人类偏好的一致率达到 85.3%。
阶跃星辰正式发布 StepAudio 3 系列模型,包含 Realtime、ASR、TTS、Gen 和 Music 五款产品。Realtime 模型在 Artificial Analysis 榜单实现 98.9% 综合得分和 99.7% 语音推理准确率,ASR 模型词错误率达 1.7%,并上线阶跃开放平台支持多模态音频创作。
推荐理由:系列模型在实时交互、语音识别和音频生成的榜单成绩具体,展示了语音模型从转写理解向全链路创作演进的能力。
智象未来发布首个原生全模态视频生成模型 HiDream-O1-Video-1.0,支持文本、图片、视频多模态输入,可直出 5–20 秒 1080p 视频。该模型在 Artificial Analysis 图生视频榜单中位列全球第四,在 Arena.ai 盲测榜中位列第八。