ClarifyCodeBench:评估 LLM 在代码生成中澄清模糊需求的能力
研究团队提出交互式基准 ClarifyCodeBench,专门评估大语言模型在代码生成任务中主动澄清模糊需求的能力。 该基准基于真实编程任务构建,并引入“轮次折扣关键问题率”和“最优轮次遵循度”两项指标以量化交互质量。 在对六款先进 LLM 的系统评估中发现,代码生成能力与需求澄清能力存在解耦现象,且模型在多重模糊性场景下的表现会显著下降。
研究团队提出交互式基准 ClarifyCodeBench,专门评估大语言模型在代码生成任务中主动澄清模糊需求的能力。 该基准基于真实编程任务构建,并引入“轮次折扣关键问题率”和“最优轮次遵循度”两项指标以量化交互质量。 在对六款先进 LLM 的系统评估中发现,代码生成能力与需求澄清能力存在解耦现象,且模型在多重模糊性场景下的表现会显著下降。
研究人员发布了一个包含1042道题目的专家验证基准,用于评估大语言模型在哥伦比亚法律体系中的可靠性。 在闭卷选择题中,Gemini 3.1 Pro 的准确率最高达0.905,但所有模型在自由文本法律回答中的事实正确率均不超过0.45。
研究引入 FinSkillBench 评估套件,通过 2,603 个时间点和 12 类子任务验证金融智能体的量化执行能力。 跨 9 个模型的配对分析显示,精选技能包将平均得分提升 16.2 点,显著优于单集生成的 0.5 点增益。 进一步分解发现,可执行工具单独贡献 19.5 点,文档单独贡献 5.6 点,且两者结合呈现次加性,表明技能溢价取决于模型、资源及系统整体。
当前时间序列预测(TSF)评测标准过于狭窄,仅关注留出集误差或高斯噪声等随机扰动,掩盖了部署系统中由结构化事件引发的语义、因果及系统级故障模式。随着TSF基础模型兴起且预训练语料库缺乏审计性,文章主张采用情景化压力测试,为每个测试实例引入语义场景、明确故障算子及可量化难度。该变革使评测更具可解释性、可归因性及部署相关性,帮助社区不仅判断模型准确度,还能明确其在何种条件下失效及原因。
该研究提出世界编辑概念,旨在干预现有可执行世界并保持关键属性不变。 I. G. M. World 引入了针对 Minecraft 和 Terraria 的 I. G. M. Bench,包含 110 个任务和 1100 多项可执行标准。 前沿编程智能体在严格任务标准下解决率为 78.2%,且成功率随干预深度增加而显著下降,主要瓶颈在于使编辑后的世界符合预期行为而非构建失败。
研究者对开源 System-1 模型 Laya 与托管模型 Jev 在 11 个 Agent 决策点进行了配对评估,Jev 在 9 项任务上准确率显著更高,提升幅度达 10.8 至 46.0 个百分点。 审计发现前期分析存在成本遗漏和阈值偏差,导致部分部署优势宣称被修正,例如节省率从 23.9% 降至 4.3%。全部测试数据与分析代码已公开。
团队推出 XiangqiBench 基准,通过中国象棋残局测试 LLM 智能体在对手应对下的闭环执行能力。 该基准基于 119 个战术残局,记录 12 个前沿模型的 8,568 条多轮轨迹。研究发现模型存在转换、一致性和模拟三重差距,静态评估高估了实际胜率。 研究指出智能体评估应关注闭环结果并同步报告可靠性。
HakemBench 1.0 发布,包含 2,346 个条目和 7 个赛道,采用 CC BY 4.0 协议开源。 基准测试通过宏观 F1、校准度和选择性自动化评分,由 16 个模型组成的排行榜中,最高综合分为 0.888。
美团 LongCat 团队构建了 MineExplorer,一个在开放世界中做到分钟级长程任务的评测基准,并开源了相关数据和代码。基准包含 813 个人工验证的高质量任务实例,支持 1 到 4 级多跳推理任务。
推荐理由:文章给出了18款多模态大模型在MineExplorer动态环境中的具体成绩,读者可以据此判断感知与长程规划之间的实际能力断层。
美团 LongCat 团队基于 762 万实体的知识图谱构建了搜索智能体评测基准 LoHoSearch,包含 544 道题目。该基准通过双维度难度控制生成更具挑战性的问题,最强模型 GPT-5.5 准确率仅 34.74%,显著低于其在 BrowseComp 上的 80% 以上表现,且现有上下文管理策略的增益也大幅收窄。
Microsoft 与 Hugging Face 联合发布了 ThinkingBox 沙箱环境和 ThinkingBox-Bench 基准,现可通过 Hugging Face 和 OpenEnv 访问。
推荐理由:原文提供了 507 个有状态业务工作流的 20 次重复基准数据,以及按次成功成本与可靠性成本对比,可据此判断模型在真实数据库记录变更中的表现差异。
NVIDIA 在 Hugging Face 和 GitHub 发布开源表格基础模型 Kumo Tabular,它基于 Transformer 架构,针对表格数据的列、行和上下文注意力设计,支持分类和回归任务,无需训练、调参或特征工程即可通过单次前向传播进行预测。
推荐理由:文章给出了模型规模、基准排名与调用代码,读者可以据此判断它是否适合替代传统树模型流程。
Ling-3.0-flash-Fin 近日在 FrontierFinance System Performance 与 Vals AI Finance Agent v2 两项金融智能体评测中取得领先成绩。
百灵大模型 Ling-3.0-flash-Fin 在 FrontierFinance System Performance 与 Vals AI Finance Agent v2 两项评测中取得领先成绩。
9 月 28 日,Qwen-Audio-3.1-TTS 在 Artificial Analysis 的 Controlled Voice Arena 中以 1177 的 Elo 评分位列全球第一。该模型支持多语种及方言合成,强调声音情绪和语速的自然表达。当前 Qwen-Audio 全线语音模型价格下调,最高降幅达 95%,API 服务已上架千问 AI 平台。
推荐理由:Qwen-Audio-3.1-TTS 登顶权威评测,且全线模型大幅降价,开发者能直接获取低成本的多语种语音 API。
Claude 在 Claude Science 中通过单提示词运行数日,成功计算了简化模型中的九圈散射振幅,打破了此前八圈纪录。该任务总成本仅数千美元,结果由物理学家 Lance Dixon 独立验证。
推荐理由:展示了Claude在学术级计算任务中低成本突破历史纪录的能力,提供了可量化的成本与验证细节。
英国 AI 安全研究所(AISI)利用 EvalEval 的基础设施公开分享评测结果,以提升评测科学的可复现性和可验证性。该发布包含 HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench 和 Terminal-Bench 2.0 五个基准的验证结果,覆盖 Claude Opus 4 系列、GPT-5 系列等六款前沿模型。
腾讯混元团队联合清华大学和北京大学提出 WebCraftBench,将软件测试方法引入 AI 网页生成评测。该基准包含 369 条真实用户需求和 5,088 条验收标准,通过让智能体实际交互并利用代码覆盖率查漏,从美观度、易用性和需求符合度三个维度进行评分。在 17 个前沿模型的实测中,WebCraftBench 的判断与人类偏好的一致率达到 85.3%。
阶跃星辰正式发布 StepAudio 3 系列模型,包含 Realtime、ASR、TTS、Gen 和 Music 五款产品。Realtime 模型在 Artificial Analysis 榜单实现 98.9% 综合得分和 99.7% 语音推理准确率,ASR 模型词错误率达 1.7%,并上线阶跃开放平台支持多模态音频创作。
推荐理由:系列模型在实时交互、语音识别和音频生成的榜单成绩具体,展示了语音模型从转写理解向全链路创作演进的能力。
智象未来发布首个原生全模态视频生成模型 HiDream-O1-Video-1.0,支持文本、图片、视频多模态输入,可直出 5–20 秒 1080p 视频。该模型在 Artificial Analysis 图生视频榜单中位列全球第四,在 Arena.ai 盲测榜中位列第八。
蚂蚁开源 LLaDA-Image,6B 参数 DiT 模型,90% 纯图片预训练配合自条件学习,实现统一文生图与编辑,TwinFlow 蒸馏支持 2-4 步推理。Qwen-Image-Bench 中英文总分 53.53 和 53.38,位列开源模型双第一;SGLang 提供 Day-0 适配,开放完整权重、训练代码与蒸馏配方。
推荐理由:LLaDA-Image 采用 90% 纯图片预训练路线,展示了不同于传统图文对绑定的生成范式,在 Qwen-Image-Bench 上取得开源模型中英双第一。
千问联合淘天集团发布 E-Commerce Bench,评估模型在 365 天、10 万本金约束下的电商经营能力。该基准通过确定性内核和 LLM 渲染层还原真实市场与供应商谈判,对 18 个模型进行七维度评估。结果显示 GPT-5.6 Sol 年末总资产达 143 万,但 18 个模型在反欺诈和长程学习上仍存在显著差距,未能在所有维度上同时保持优势。
推荐理由:联合淘天集团发布评测基准,通过确定性内核还原电商经营,量化了18个模型在反欺诈与长程学习上的显著短板。
蚂蚁百灵发布首个金融增强模型 Ling-3.0-flash-Fin,该模型基于 Ling-3.0-flash 架构,保持 124B 总参数和 5.1B 激活参数,通过金融语料预训练及领域后训练强化投研核心能力。
推荐理由:原文披露了面向金融投研工作流的模型配置与多基准评测结果,读者可据此判断其在真实金融场景中的能力边界与可用性。
Microsoft Research 发布 Skala 1.1 深度学习 DFT 泛函,其训练数据量较前代增加 2.5 倍,在 GMTKN55 基准测试中实现加权平均误差 2.8 kcal/mol,精度超越顶级全局杂化泛函且保持 meta-GGA 计算成本。
智谱发布GLM-5.3,基座未变但通过极致后训练Scaling显著提升编程与网络安全能力:内部编程体感较GLM-5.2提升50%,Terminal-Bench 3.0从4.6升至28.3;网络安全上CyberGym达84.5%,ExploitBench 54.4%,ExploitGym两小时完成105项漏洞利用任务。
推荐理由:后训练Scaling带来更强编程与网络安全防御能力,开源与“开源的盾”计划让前沿安全能力不再只属于少数闭源机构。
MiniMax H3 开源 24 小时后,华为昇腾、AMD、Intel 等 9 家芯片厂商完成 Day 0 适配,Hugging Face、vLLM、腾讯云及 Leonardo 等超百家合作伙伴完成接入。在 Artificial Analysis 视频评测榜单中,H3 跻身全球前三并在质量/价格象限中处于最优梯队,位列中国模型最佳。在 Arena AI 最新评测榜单中,H3 排名并列第一。
推荐理由:开源 24 小时内的适配与评测结果,展示了该多模态视频模型的生态落地速度与实际性能站位。
OpenAI 停止使用 SWE-bench Verified 评估前沿编码能力,因其存在污染和测试缺陷。分析显示该基准存在训练数据泄漏问题,导致无法准确衡量模型进展。OpenAI 推荐改用 SWE-bench Pro。
Hugging Face 发布了 FilBench 评测套件,专门评估 LLM 在 Tagalog、Filipino 和 Cebuano 三种语言中的流畅度、语言学能力、翻译能力及文化知识。
研究人员基于 25 款经典 Infocom 互动小说游戏构建 TextQuests 评测基准,用于测试大语言模型在长上下文与探索性任务中的 Agent 推理能力。
NVIDIA 的 AI-Q Blueprint 智能体在 Hugging Face DeepResearch Bench 的 LLM with Search 榜单登顶,总分 40.52。
Hugging Face 开源视频基准 TimeScope,通过向 1 分钟至 8 小时的长视频中插入 5-10 秒的短片段,测试模型在定位检索、信息综合和细粒度时间感知三项任务上的表现。基准结果显示,即使是如 Gemini 2.5-Pro 等声称支持长视频的模型,在处理真实长视频任务时仍面临显著挑战。
Hugging Face 发布新基准 FutureBench,用于评估 AI 智能体预测未来事件的能力,其核心观点是,比复述旧知识更能体现智能的是基于过去知识去预测未来。该基准通过从新闻和预测市场获取实时问题,并要求结果在未来被证实,从而天然避免了数据污染问题。在初始测试中,GPT-4.1 和 Claude 3.7 等不同模型展现了不同的信息搜集和推理策略,揭示了它们在决策路径上的行为差异。
Hugging Face 推出 NeurIPS 2025 E2LM 竞赛,旨在构建能捕捉大型语言模型早期训练阶段(约 200B tokens)推理与科学知识信号的基准。
Hugging Face 使用 Math-Verify 重新评估了 Open LLM Leaderboard 上的 3751 个模型,解决了旧评估器对答案提取和解析的缺陷。更新后,模型平均多解决 61 题,Qwen 和 DeepSeek 模型的数学得分分别翻倍和接近三倍。Nvidia 的 AceMath 模型现居 MATH-Hard 榜单首位。
在 Google Cloud C4 实例(5 代 Xeon)上运行 Llama-3.2-3 模型和 UAE-Large-V1 嵌入模型,文本嵌入吞吐量较 N2 提升 10–24 倍,文本生成提升 2.3–3.6 倍。C4 每小时价格约为 N2 的 1.3 倍,在成本调整后嵌入和生成的总拥有成本优势分别为 7–19 倍和 1.7–2.9 倍。
Hugging Face 正式引入 Artificial Analysis 开发的 LLM 性能榜单,该榜单覆盖 100 多个 LLM API 端点,统一提供模型质量、价格、吞吐量与延迟指标。
推荐理由:原文将价格、速度与质量指标整合在单一榜单中,AI 工程师可据此在应用设计阶段对推理成本与延迟做出更具体的权衡。
Hugging Face 与 Dottxt 团队在博客中展示,利用结构生成(Outlines 库)可显著提升 LLM 评测的跨 Prompt 一致性并提高平均得分。
Hugging Face 发布开放链式思维排行榜(Open CoT Leaderboard),专门评估大语言模型在推理任务中生成有效链式思维(CoT)轨迹的能力。
Hugging Face 发布 Open Medical-LLM Leaderboard,通过 MedQA、MedMCQA、PubMedQA 及 MMLU 医学子集标准化评测 LLM 医疗能力。
Hugging Face 发布基于 UC Berkeley 等机构研发的 LiveCodeBench 的排行榜。该基准通过标注题目发布时间,利用“时间滚动”策略检测并防止数据污染。LiveCodeBench 涵盖代码生成、自我修复等四项场景,使用 Pass@1 指标进行评估,其中 GPT-4-Turbo 在多数场景表现最佳。