跳到正文
10月5日周一
  1. arXiv · AI37

    ClarifyCodeBench:评估 LLM 在代码生成中澄清模糊需求的能力

    研究团队提出交互式基准 ClarifyCodeBench,专门评估大语言模型在代码生成任务中主动澄清模糊需求的能力。 该基准基于真实编程任务构建,并引入“轮次折扣关键问题率”和“最优轮次遵循度”两项指标以量化交互质量。 在对六款先进 LLM 的系统评估中发现,代码生成能力与需求澄清能力存在解耦现象,且模型在多重模糊性场景下的表现会显著下降。

  2. arXiv · AI31

    FinSkillBench:金融智能体技能溢价的分解与评估

    研究引入 FinSkillBench 评估套件,通过 2,603 个时间点和 12 类子任务验证金融智能体的量化执行能力。 跨 9 个模型的配对分析显示,精选技能包将平均得分提升 16.2 点,显著优于单集生成的 0.5 点增益。 进一步分解发现,可执行工具单独贡献 19.5 点,文档单独贡献 5.6 点,且两者结合呈现次加性,表明技能溢价取决于模型、资源及系统整体。

  3. arXiv · AI35

    时间序列预测基准测试需引入情景化压力测试

    当前时间序列预测(TSF)评测标准过于狭窄,仅关注留出集误差或高斯噪声等随机扰动,掩盖了部署系统中由结构化事件引发的语义、因果及系统级故障模式。随着TSF基础模型兴起且预训练语料库缺乏审计性,文章主张采用情景化压力测试,为每个测试实例引入语义场景、明确故障算子及可量化难度。该变革使评测更具可解释性、可归因性及部署相关性,帮助社区不仅判断模型准确度,还能明确其在何种条件下失效及原因。

  4. arXiv · AI26

    World Editing:I. G. M. World 中深度干预可执行世界的基准测试

    该研究提出世界编辑概念,旨在干预现有可执行世界并保持关键属性不变。 I. G. M. World 引入了针对 Minecraft 和 Terraria 的 I. G. M. Bench,包含 110 个任务和 1100 多项可执行标准。 前沿编程智能体在严格任务标准下解决率为 78.2%,且成功率随干预深度增加而显著下降,主要瓶颈在于使编辑后的世界符合预期行为而非构建失败。

  5. arXiv · AI26

    LLM Agent 决策系统中 System-1 模型 Laya 与 Jev 的配对评估及自审计

    研究者对开源 System-1 模型 Laya 与托管模型 Jev 在 11 个 Agent 决策点进行了配对评估,Jev 在 9 项任务上准确率显著更高,提升幅度达 10.8 至 46.0 个百分点。 审计发现前期分析存在成本遗漏和阈值偏差,导致部分部署优势宣称被修正,例如节省率从 23.9% 降至 4.3%。全部测试数据与分析代码已公开。

  6. arXiv · NLP33

    XiangqiBench:LLM 智能体闭环评估基准

    团队推出 XiangqiBench 基准,通过中国象棋残局测试 LLM 智能体在对手应对下的闭环执行能力。 该基准基于 119 个战术残局,记录 12 个前沿模型的 8,568 条多轮轨迹。研究发现模型存在转换、一致性和模拟三重差距,静态评估高估了实际胜率。 研究指出智能体评估应关注闭环结果并同步报告可靠性。

10月4日周日
  1. 美团技术团队79

    美团 LongCat 发布 MineExplorer:揭示顶级多模态大模型被忽视的能力断层

    美团 LongCat 团队构建了 MineExplorer,一个在开放世界中做到分钟级长程任务的评测基准,并开源了相关数据和代码。基准包含 813 个人工验证的高质量任务实例,支持 1 到 4 级多跳推理任务。

    推荐理由:文章给出了18款多模态大模型在MineExplorer动态环境中的具体成绩,读者可以据此判断感知与长程规划之间的实际能力断层。

  2. Hugging Face Blog83

    Microsoft ThinkingBox 和 ThinkingBox-Bench 开源:基于终端状态检查评估 AI Agent 可靠性

    Microsoft 与 Hugging Face 联合发布了 ThinkingBox 沙箱环境和 ThinkingBox-Bench 基准,现可通过 Hugging Face 和 OpenEnv 访问。

    推荐理由:原文提供了 507 个有状态业务工作流的 20 次重复基准数据,以及按次成功成本与可靠性成本对比,可据此判断模型在真实数据库记录变更中的表现差异。

9月29日周二
  1. Hugging Face Blog81

    NVIDIA Kumo Tabular 开源表格基础模型发布

    NVIDIA 在 Hugging Face 和 GitHub 发布开源表格基础模型 Kumo Tabular,它基于 Transformer 架构,针对表格数据的列、行和上下文注意力设计,支持分类和回归任务,无需训练、调参或特征工程即可通过单次前向传播进行预测。

    推荐理由:文章给出了模型规模、基准排名与调用代码,读者可以据此判断它是否适合替代传统树模型流程。

  2. 阿里语音AI80

    Qwen-Audio-3.1-TTS 拿下全球权威语音榜冠军

    9 月 28 日,Qwen-Audio-3.1-TTS 在 Artificial Analysis 的 Controlled Voice Arena 中以 1177 的 Elo 评分位列全球第一。该模型支持多语种及方言合成,强调声音情绪和语速的自然表达。当前 Qwen-Audio 全线语音模型价格下调,最高降幅达 95%,API 服务已上架千问 AI 平台。

    推荐理由:Qwen-Audio-3.1-TTS 登顶权威评测,且全线模型大幅降价,开发者能直接获取低成本的多语种语音 API。

9月26日周六
  1. Anthropic (X)94

    Claude 在 Claude Science 平台完成九圈散射振幅计算

    Claude 在 Claude Science 中通过单提示词运行数日,成功计算了简化模型中的九圈散射振幅,打破了此前八圈纪录。该任务总成本仅数千美元,结果由物理学家 Lance Dixon 独立验证。

    推荐理由:展示了Claude在学术级计算任务中低成本突破历史纪录的能力,提供了可量化的成本与验证细节。

9月22日周二
9月20日周日
  1. 腾讯混元56

    WebCraftBench 提出面向 AI 网页生成的软件测试评测基准

    腾讯混元团队联合清华大学和北京大学提出 WebCraftBench,将软件测试方法引入 AI 网页生成评测。该基准包含 369 条真实用户需求和 5,088 条验收标准,通过让智能体实际交互并利用代码覆盖率查漏,从美观度、易用性和需求符合度三个维度进行评分。在 17 个前沿模型的实测中,WebCraftBench 的判断与人类偏好的一致率达到 85.3%。

9月15日周二
  1. 阶跃StepFun84

    阶跃星辰发布 StepAudio 3 系列语音大模型

    阶跃星辰正式发布 StepAudio 3 系列模型,包含 Realtime、ASR、TTS、Gen 和 Music 五款产品。Realtime 模型在 Artificial Analysis 榜单实现 98.9% 综合得分和 99.7% 语音推理准确率,ASR 模型词错误率达 1.7%,并上线阶跃开放平台支持多模态音频创作。

    推荐理由:系列模型在实时交互、语音识别和音频生成的榜单成绩具体,展示了语音模型从转写理解向全链路创作演进的能力。

9月7日周一
  1. 蚂蚁开源82

    蚂蚁开源 LLaDA-Image:6B 纯图片预训练 Diffusion 模型,中英双首 Qwen-Image-Bench 开源第一

    蚂蚁开源 LLaDA-Image,6B 参数 DiT 模型,90% 纯图片预训练配合自条件学习,实现统一文生图与编辑,TwinFlow 蒸馏支持 2-4 步推理。Qwen-Image-Bench 中英文总分 53.53 和 53.38,位列开源模型双第一;SGLang 提供 Day-0 适配,开放完整权重、训练代码与蒸馏配方。

    推荐理由:LLaDA-Image 采用 90% 纯图片预训练路线,展示了不同于传统图文对绑定的生成范式,在 Qwen-Image-Bench 上取得开源模型中英双第一。

9月3日周四
  1. 千问大模型69

    E-Commerce Bench 开源揭秘:评估大模型长程网店经营能力

    千问联合淘天集团发布 E-Commerce Bench,评估模型在 365 天、10 万本金约束下的电商经营能力。该基准通过确定性内核和 LLM 渲染层还原真实市场与供应商谈判,对 18 个模型进行七维度评估。结果显示 GPT-5.6 Sol 年末总资产达 143 万,但 18 个模型在反欺诈和长程学习上仍存在显著差距,未能在所有维度上同时保持优势。

    推荐理由:联合淘天集团发布评测基准,通过确定性内核还原电商经营,量化了18个模型在反欺诈与长程学习上的显著短板。

8月28日周五
  1. 百灵大模型75

    蚂蚁百灵发布 Ling-3.0-flash-Fin 金融增强模型

    蚂蚁百灵发布首个金融增强模型 Ling-3.0-flash-Fin,该模型基于 Ling-3.0-flash 架构,保持 124B 总参数和 5.1B 激活参数,通过金融语料预训练及领域后训练强化投研核心能力。

    推荐理由:原文披露了面向金融投研工作流的模型配置与多基准评测结果,读者可据此判断其在真实金融场景中的能力边界与可用性。

8月21日周五
8月14日周五
  1. 智谱88

    GLM-5.3发布:编程能力提升50%,网络安全能力涌现,两周后开源

    智谱发布GLM-5.3,基座未变但通过极致后训练Scaling显著提升编程与网络安全能力:内部编程体感较GLM-5.2提升50%,Terminal-Bench 3.0从4.6升至28.3;网络安全上CyberGym达84.5%,ExploitBench 54.4%,ExploitGym两小时完成105项漏洞利用任务。

    推荐理由:后训练Scaling带来更强编程与网络安全防御能力,开源与“开源的盾”计划让前沿安全能力不再只属于少数闭源机构。

8月4日周二
  1. MiniMax 稀宇科技63

    MiniMax H3 开源 24 小时,超百家企业 Day 0 上线

    MiniMax H3 开源 24 小时后,华为昇腾、AMD、Intel 等 9 家芯片厂商完成 Day 0 适配,Hugging Face、vLLM、腾讯云及 Leonardo 等超百家合作伙伴完成接入。在 Artificial Analysis 视频评测榜单中,H3 跻身全球前三并在质量/价格象限中处于最优梯队,位列中国模型最佳。在 Arena AI 最新评测榜单中,H3 排名并列第一。

    推荐理由:开源 24 小时内的适配与评测结果,展示了该多模态视频模型的生态落地速度与实际性能站位。

2月23日周一
8月12日周二
8月5日周二
7月23日周三
  1. Hugging Face Blog47

    TimeScope 基准:视频大模型能处理多长的视频?

    Hugging Face 开源视频基准 TimeScope,通过向 1 分钟至 8 小时的长视频中插入 5-10 秒的短片段,测试模型在定位检索、信息综合和细粒度时间感知三项任务上的表现。基准结果显示,即使是如 Gemini 2.5-Pro 等声称支持长视频的模型,在处理真实长视频任务时仍面临显著挑战。

7月17日周四
  1. Hugging Face Blog53

    Hugging Face 发布 FutureBench:通过预测未来事件评估 AI 智能体

    Hugging Face 发布新基准 FutureBench,用于评估 AI 智能体预测未来事件的能力,其核心观点是,比复述旧知识更能体现智能的是基于过去知识去预测未来。该基准通过从新闻和预测市场获取实时问题,并要求结果在未来被证实,从而天然避免了数据污染问题。在初始测试中,GPT-4.1 和 Claude 3.7 等不同模型展现了不同的信息搜集和推理策略,揭示了它们在决策路径上的行为差异。

7月4日周五
2月14日周五
12月17日周二
5月3日周五
  1. Hugging Face Blog60

    Hugging Face 引入 Artificial Analysis LLM 性能榜单

    Hugging Face 正式引入 Artificial Analysis 开发的 LLM 性能榜单,该榜单覆盖 100 多个 LLM API 端点,统一提供模型质量、价格、吞吐量与延迟指标。

    推荐理由:原文将价格、速度与质量指标整合在单一榜单中,AI 工程师可据此在应用设计阶段对推理成本与延迟做出更具体的权衡。

4月30日周二
4月23日周二
4月19日周五
4月16日周二
  1. Hugging Face Blog33

    Hugging Face 推出 LiveCodeBench 排行榜,实现代码 LLM 的无污染全面评估

    Hugging Face 发布基于 UC Berkeley 等机构研发的 LiveCodeBench 的排行榜。该基准通过标注题目发布时间,利用“时间滚动”策略检测并防止数据污染。LiveCodeBench 涵盖代码生成、自我修复等四项场景,使用 Pass@1 指标进行评估,其中 GPT-4-Turbo 在多数场景表现最佳。