DeepSeek V4.1 Flash 是否值得 AI 工程师使用?
DeepSeek V4.1 Flash 在写作基准测试中平均耗时 43 秒且单脚本成本低于 1 美分,速度比 Fable 快 12 倍、便宜 250 倍。该模型骨干规模接近 V4 Flash 的两倍,全局 KV cache 体积缩小约四分之一。作者建议在需人工编辑的初稿场景使用默认推理设置以控制成本。
DeepSeek V4.1 Flash 在写作基准测试中平均耗时 43 秒且单脚本成本低于 1 美分,速度比 Fable 快 12 倍、便宜 250 倍。该模型骨干规模接近 V4 Flash 的两倍,全局 KV cache 体积缩小约四分之一。作者建议在需人工编辑的初稿场景使用默认推理设置以控制成本。
GPT-6 Astra 表现强劲,在 3D 渲染、Computer Use、ARC-AGI-3 等任务上相对 GPT-5.6 有明显提升;文中也提出新的 LLM 可能不再需要旧的 AGENTS.md、SKILL.md 提示。
蚂蚁开源 LLaDA-Image,6B 参数 DiT 模型,90% 纯图片预训练配合自条件学习,实现统一文生图与编辑,TwinFlow 蒸馏支持 2-4 步推理。Qwen-Image-Bench 中英文总分 53.53 和 53.38,位列开源模型双第一;SGLang 提供 Day-0 适配,开放完整权重、训练代码与蒸馏配方。
推荐理由:LLaDA-Image 采用 90% 纯图片预训练路线,展示了不同于传统图文对绑定的生成范式,在 Qwen-Image-Bench 上取得开源模型中英双第一。
千问联合淘天集团发布 E-Commerce Bench,评估模型在 365 天、10 万本金约束下的电商经营能力。该基准通过确定性内核和 LLM 渲染层还原真实市场与供应商谈判,对 18 个模型进行七维度评估。结果显示 GPT-5.6 Sol 年末总资产达 143 万,但 18 个模型在反欺诈和长程学习上仍存在显著差距,未能在所有维度上同时保持优势。
推荐理由:联合淘天集团发布评测基准,通过确定性内核还原电商经营,量化了18个模型在反欺诈与长程学习上的显著短板。
Google 8月发布 Gemini 3.7 Flash,作为编码与 Agent 主力模型,其每百万 token 价格仅为 3.6 Flash 的一半。 同期推出 Gemini 3.5 Transcribe 语音转写模型及支持 Gemini 的 Pixel 11 系列硬件,后者搭载 Google Tensor G6 芯片。
蚂蚁百灵发布首个金融增强模型 Ling-3.0-flash-Fin,该模型基于 Ling-3.0-flash 架构,保持 124B 总参数和 5.1B 激活参数,通过金融语料预训练及领域后训练强化投研核心能力。
推荐理由:原文披露了面向金融投研工作流的模型配置与多基准评测结果,读者可据此判断其在真实金融场景中的能力边界与可用性。
Microsoft Research 发布 Skala 1.1 深度学习 DFT 泛函,其训练数据量较前代增加 2.5 倍,在 GMTKN55 基准测试中实现加权平均误差 2.8 kcal/mol,精度超越顶级全局杂化泛函且保持 meta-GGA 计算成本。
智谱发布GLM-5.3,基座未变但通过极致后训练Scaling显著提升编程与网络安全能力:内部编程体感较GLM-5.2提升50%,Terminal-Bench 3.0从4.6升至28.3;网络安全上CyberGym达84.5%,ExploitBench 54.4%,ExploitGym两小时完成105项漏洞利用任务。
推荐理由:后训练Scaling带来更强编程与网络安全防御能力,开源与“开源的盾”计划让前沿安全能力不再只属于少数闭源机构。
MiniMax H3 开源 24 小时后,华为昇腾、AMD、Intel 等 9 家芯片厂商完成 Day 0 适配,Hugging Face、vLLM、腾讯云及 Leonardo 等超百家合作伙伴完成接入。在 Artificial Analysis 视频评测榜单中,H3 跻身全球前三并在质量/价格象限中处于最优梯队,位列中国模型最佳。在 Arena AI 最新评测榜单中,H3 排名并列第一。
推荐理由:开源 24 小时内的适配与评测结果,展示了该多模态视频模型的生态落地速度与实际性能站位。
OpenAI 停止使用 SWE-bench Verified 评估前沿编码能力,因其存在污染和测试缺陷。分析显示该基准存在训练数据泄漏问题,导致无法准确衡量模型进展。OpenAI 推荐改用 SWE-bench Pro。
文章介绍了 LLM 评估的四种主要方法:多选题、验证器、排行榜和 LLM 评判。 其中多选题评估基于基准测试,如 MMLU 数据集包含 57 个领域、约 16,000 道题目,通过准确率衡量模型表现。 这些方法分为基准评估与判断评估两类,帮助构建评估框架以解读基准测试与论文结果。
Hugging Face 发布了 FilBench 评测套件,专门评估 LLM 在 Tagalog、Filipino 和 Cebuano 三种语言中的流畅度、语言学能力、翻译能力及文化知识。
研究人员基于 25 款经典 Infocom 互动小说游戏构建 TextQuests 评测基准,用于测试大语言模型在长上下文与探索性任务中的 Agent 推理能力。
NVIDIA 的 AI-Q Blueprint 智能体在 Hugging Face DeepResearch Bench 的 LLM with Search 榜单登顶,总分 40.52。
Hugging Face 开源视频基准 TimeScope,通过向 1 分钟至 8 小时的长视频中插入 5-10 秒的短片段,测试模型在定位检索、信息综合和细粒度时间感知三项任务上的表现。基准结果显示,即使是如 Gemini 2.5-Pro 等声称支持长视频的模型,在处理真实长视频任务时仍面临显著挑战。
Hugging Face 发布新基准 FutureBench,用于评估 AI 智能体预测未来事件的能力,其核心观点是,比复述旧知识更能体现智能的是基于过去知识去预测未来。该基准通过从新闻和预测市场获取实时问题,并要求结果在未来被证实,从而天然避免了数据污染问题。在初始测试中,GPT-4.1 和 Claude 3.7 等不同模型展现了不同的信息搜集和推理策略,揭示了它们在决策路径上的行为差异。
Hugging Face 推出 NeurIPS 2025 E2LM 竞赛,旨在构建能捕捉大型语言模型早期训练阶段(约 200B tokens)推理与科学知识信号的基准。
Hugging Face 使用 Math-Verify 重新评估了 Open LLM Leaderboard 上的 3751 个模型,解决了旧评估器对答案提取和解析的缺陷。更新后,模型平均多解决 61 题,Qwen 和 DeepSeek 模型的数学得分分别翻倍和接近三倍。Nvidia 的 AceMath 模型现居 MATH-Hard 榜单首位。
在 Google Cloud C4 实例(5 代 Xeon)上运行 Llama-3.2-3 模型和 UAE-Large-V1 嵌入模型,文本嵌入吞吐量较 N2 提升 10–24 倍,文本生成提升 2.3–3.6 倍。C4 每小时价格约为 N2 的 1.3 倍,在成本调整后嵌入和生成的总拥有成本优势分别为 7–19 倍和 1.7–2.9 倍。
Hugging Face 正式引入 Artificial Analysis 开发的 LLM 性能榜单,该榜单覆盖 100 多个 LLM API 端点,统一提供模型质量、价格、吞吐量与延迟指标。
推荐理由:原文将价格、速度与质量指标整合在单一榜单中,AI 工程师可据此在应用设计阶段对推理成本与延迟做出更具体的权衡。
Hugging Face 与 Dottxt 团队在博客中展示,利用结构生成(Outlines 库)可显著提升 LLM 评测的跨 Prompt 一致性并提高平均得分。
Hugging Face 发布开放链式思维排行榜(Open CoT Leaderboard),专门评估大语言模型在推理任务中生成有效链式思维(CoT)轨迹的能力。
Hugging Face 发布 Open Medical-LLM Leaderboard,通过 MedQA、MedMCQA、PubMedQA 及 MMLU 医学子集标准化评测 LLM 医疗能力。
Hugging Face 发布基于 UC Berkeley 等机构研发的 LiveCodeBench 的排行榜。该基准通过标注题目发布时间,利用“时间滚动”策略检测并防止数据污染。LiveCodeBench 涵盖代码生成、自我修复等四项场景,使用 Pass@1 指标进行评估,其中 GPT-4-Turbo 在多数场景表现最佳。
加州大学洛杉矶分校发布 ConTextual 数据集,用于评估多模态大模型在文本丰富场景中的上下文敏感视觉推理能力。该数据集包含 506 个指令,覆盖地图导航、信息图表阅读等 8 类真实场景,旨在测试模型对文本与视觉线索的联合推理表现。实验显示,包括 GPT-4V 在内的现代 LMM 在该基准上表现不佳,开源模型在时间阅读等领域存在显著能力缺口,建议通过增强图像编码器及细粒度视觉语言对齐加以改进。
Upstage 发起 Open Ko-LLM 排行榜,旨在构建韩国 LLM 评估生态系统。该平台已收集超过 1,000 个模型,并采用包括 Ko-MMLU 在内的五种评估任务。KT 的 Mi:dm 7B 模型在该 7B 参数级模型中排名首位并公开可用。
Patronus 团队在 Hugging Face 推出 Enterprise Scenarios Leaderboard,专注于评估 LLM 在金融、法律等真实企业场景中的表现。该榜单涵盖 FinanceBench、Legal Confidentiality 等 6 项任务,通过混合开源与闭源数据集防止测试集污染。用户可据此对比模型在准确性、相关性等指标上的实际应用能力。
Hallucinations Leaderboard 是一个开放项目,利用 EleutherAI 评估框架测试 LLM 在事实性和忠实性上的幻觉表现。该基准包含 NQ Open、TruthfulQA、XSum 等多种任务,所有指标均归一化至 0 到 1 区间。
Hugging Face 展示了如何用 ChatHuggingFace 构建 ReAct 智能体,并发布了 smolagents 库。基准测试显示 Mixtral-8x7B-Instruct-v0.1 在工具调用和搜索任务上表现优于 GPT-3.5,而 Llama2-70b-chat 表现意外较差。
Vectara 发布基于 Hugging Face 排行榜模板的 HHEM 幻觉评估排行榜。HHEM 是开源模型,用于衡量 LLM 生成文本的幻觉程度。该指南详细说明了如何使用 leaderboard 模板代码搭建支持动态更新的评估系统,包含数据集管理与后端定制步骤。
Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。
推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。
Hugging Face 宣布在修复前将 DROP 评测基准从 Open LLM Leaderboard 移除。团队排查发现,归一化逻辑在处理数字后带换行符时失效,且以句号作为生成停止词会导致浮点数答案提前截断或优质模型因生成冗长回答而失分。
Hugging Face 发布 Object Detection Leaderboard,对 Hub 上的目标检测模型进行排名。该榜单基于 Average Precision 和 Average Recall 指标,深入解析 Intersection over Union 计算方法,并揭示模型评估中的潜在分歧。
BLOOMZ 在 Habana Gaudi2 上推理性能优于 A100 80GB,176B 参数版本速度达 1.42 倍,7B 参数版本速度达 2.89 倍。 测试基于 Optimum Habana 库,使用 DeepSpeed-inference 实现模型并行,支持 16 位精度下的低延迟推理。
Habana Gaudi2在BERT预训练、Stable Diffusion推理和T5-3B微调上的吞吐或延迟比Nvidia A100 80GB快约1.8至2.84倍,且支持更大模型微调。测试通过Optimum Habana框架完成,单卡显存为96GB;A100使用fp16,Gaudi使用bf16或fp32。
推荐理由:给出了Gaudi2与A100的逐项吞吐、延迟和参数量对比,读者可以据此判断硬件替代成本。
Hugging Face 发布 Evaluation on the Hub 工具,允许用户在不编写代码的情况下评估 Hub 上的任何模型。该工具由 AutoTrain 提供支持,通过 Pull Request 在模型卡片中展示经过验证的性能结果,结果直接编码在元数据中。
OpenAI 发布 Procgen Benchmark,提供 16 个简单易用的程序化生成环境。该基准直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI Five 在 Dota 比赛中以三局两胜战胜由第 99.95 百分位玩家组成的战队。该对战在五名人类选手(其中四人拥有职业 Dota 经验)面前进行,吸引了 10 万名并发直播观众观看。
OpenAI 创建了能在多种尺度和视角下可靠欺骗神经网络分类器的图像。这一成果反驳了上周关于自动驾驶汽车因从多尺度、多角度和视角捕获图像而难以被恶意欺骗的说法。