跳到正文
9月14日周一
9月9日周三
9月7日周一
  1. 蚂蚁开源82

    蚂蚁开源 LLaDA-Image:6B 纯图片预训练 Diffusion 模型,中英双首 Qwen-Image-Bench 开源第一

    蚂蚁开源 LLaDA-Image,6B 参数 DiT 模型,90% 纯图片预训练配合自条件学习,实现统一文生图与编辑,TwinFlow 蒸馏支持 2-4 步推理。Qwen-Image-Bench 中英文总分 53.53 和 53.38,位列开源模型双第一;SGLang 提供 Day-0 适配,开放完整权重、训练代码与蒸馏配方。

    推荐理由:LLaDA-Image 采用 90% 纯图片预训练路线,展示了不同于传统图文对绑定的生成范式,在 Qwen-Image-Bench 上取得开源模型中英双第一。

9月3日周四
  1. 千问大模型69

    E-Commerce Bench 开源揭秘:评估大模型长程网店经营能力

    千问联合淘天集团发布 E-Commerce Bench,评估模型在 365 天、10 万本金约束下的电商经营能力。该基准通过确定性内核和 LLM 渲染层还原真实市场与供应商谈判,对 18 个模型进行七维度评估。结果显示 GPT-5.6 Sol 年末总资产达 143 万,但 18 个模型在反欺诈和长程学习上仍存在显著差距,未能在所有维度上同时保持优势。

    推荐理由:联合淘天集团发布评测基准,通过确定性内核还原电商经营,量化了18个模型在反欺诈与长程学习上的显著短板。

9月2日周三
8月28日周五
  1. 百灵大模型75

    蚂蚁百灵发布 Ling-3.0-flash-Fin 金融增强模型

    蚂蚁百灵发布首个金融增强模型 Ling-3.0-flash-Fin,该模型基于 Ling-3.0-flash 架构,保持 124B 总参数和 5.1B 激活参数,通过金融语料预训练及领域后训练强化投研核心能力。

    推荐理由:原文披露了面向金融投研工作流的模型配置与多基准评测结果,读者可据此判断其在真实金融场景中的能力边界与可用性。

8月21日周五
8月14日周五
  1. 智谱88

    GLM-5.3发布:编程能力提升50%,网络安全能力涌现,两周后开源

    智谱发布GLM-5.3,基座未变但通过极致后训练Scaling显著提升编程与网络安全能力:内部编程体感较GLM-5.2提升50%,Terminal-Bench 3.0从4.6升至28.3;网络安全上CyberGym达84.5%,ExploitBench 54.4%,ExploitGym两小时完成105项漏洞利用任务。

    推荐理由:后训练Scaling带来更强编程与网络安全防御能力,开源与“开源的盾”计划让前沿安全能力不再只属于少数闭源机构。

8月4日周二
  1. MiniMax 稀宇科技63

    MiniMax H3 开源 24 小时,超百家企业 Day 0 上线

    MiniMax H3 开源 24 小时后,华为昇腾、AMD、Intel 等 9 家芯片厂商完成 Day 0 适配,Hugging Face、vLLM、腾讯云及 Leonardo 等超百家合作伙伴完成接入。在 Artificial Analysis 视频评测榜单中,H3 跻身全球前三并在质量/价格象限中处于最优梯队,位列中国模型最佳。在 Arena AI 最新评测榜单中,H3 排名并列第一。

    推荐理由:开源 24 小时内的适配与评测结果,展示了该多模态视频模型的生态落地速度与实际性能站位。

2月23日周一
10月5日周日
  1. Ahead of AI50

    理解 LLM 评估的 4 种主要方法(从零开始)

    文章介绍了 LLM 评估的四种主要方法:多选题、验证器、排行榜和 LLM 评判。 其中多选题评估基于基准测试,如 MMLU 数据集包含 57 个领域、约 16,000 道题目,通过准确率衡量模型表现。 这些方法分为基准评估与判断评估两类,帮助构建评估框架以解读基准测试与论文结果。

8月12日周二
8月5日周二
7月23日周三
  1. Hugging Face Blog47

    TimeScope 基准:视频大模型能处理多长的视频?

    Hugging Face 开源视频基准 TimeScope,通过向 1 分钟至 8 小时的长视频中插入 5-10 秒的短片段,测试模型在定位检索、信息综合和细粒度时间感知三项任务上的表现。基准结果显示,即使是如 Gemini 2.5-Pro 等声称支持长视频的模型,在处理真实长视频任务时仍面临显著挑战。

7月17日周四
  1. Hugging Face Blog53

    Hugging Face 发布 FutureBench:通过预测未来事件评估 AI 智能体

    Hugging Face 发布新基准 FutureBench,用于评估 AI 智能体预测未来事件的能力,其核心观点是,比复述旧知识更能体现智能的是基于过去知识去预测未来。该基准通过从新闻和预测市场获取实时问题,并要求结果在未来被证实,从而天然避免了数据污染问题。在初始测试中,GPT-4.1 和 Claude 3.7 等不同模型展现了不同的信息搜集和推理策略,揭示了它们在决策路径上的行为差异。

7月4日周五
2月14日周五
12月17日周二
5月3日周五
  1. Hugging Face Blog60

    Hugging Face 引入 Artificial Analysis LLM 性能榜单

    Hugging Face 正式引入 Artificial Analysis 开发的 LLM 性能榜单,该榜单覆盖 100 多个 LLM API 端点,统一提供模型质量、价格、吞吐量与延迟指标。

    推荐理由:原文将价格、速度与质量指标整合在单一榜单中,AI 工程师可据此在应用设计阶段对推理成本与延迟做出更具体的权衡。

4月30日周二
4月23日周二
4月19日周五
4月16日周二
  1. Hugging Face Blog33

    Hugging Face 推出 LiveCodeBench 排行榜,实现代码 LLM 的无污染全面评估

    Hugging Face 发布基于 UC Berkeley 等机构研发的 LiveCodeBench 的排行榜。该基准通过标注题目发布时间,利用“时间滚动”策略检测并防止数据污染。LiveCodeBench 涵盖代码生成、自我修复等四项场景,使用 Pass@1 指标进行评估,其中 GPT-4-Turbo 在多数场景表现最佳。

3月5日周二
  1. Hugging Face Blog35

    ConTextual 数据集:评估多模态大模型在文本丰富场景中的联合推理能力

    加州大学洛杉矶分校发布 ConTextual 数据集,用于评估多模态大模型在文本丰富场景中的上下文敏感视觉推理能力。该数据集包含 506 个指令,覆盖地图导航、信息图表阅读等 8 类真实场景,旨在测试模型对文本与视觉线索的联合推理表现。实验显示,包括 GPT-4V 在内的现代 LMM 在该基准上表现不佳,开源模型在时间阅读等领域存在显著能力缺口,建议通过增强图像编码器及细粒度视觉语言对齐加以改进。

2月20日周二
1月31日周三
  1. Hugging Face Blog42

    Hugging Face 发布 Enterprise Scenarios Leaderboard 评测大模型企业场景表现

    Patronus 团队在 Hugging Face 推出 Enterprise Scenarios Leaderboard,专注于评估 LLM 在金融、法律等真实企业场景中的表现。该榜单涵盖 FinanceBench、Legal Confidentiality 等 6 项任务,通过混合开源与闭源数据集防止测试集污染。用户可据此对比模型在准确性、相关性等指标上的实际应用能力。

1月29日周一
1月24日周三
1月12日周五
12月11日周一
  1. Hugging Face Blog89

    Mixtral 8x7b 发布:开源 MoE 模型性能比肩 GPT-3.5

    Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。

    推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。

12月1日周五
  1. Hugging Face Blog55

    Open LLM Leaderboard 移除 DROP 基准

    Hugging Face 宣布在修复前将 DROP 评测基准从 Open LLM Leaderboard 移除。团队排查发现,归一化逻辑在处理数字后带换行符时失效,且以句号作为生成停止词会导致浮点数答案提前截断或优质模型因生成冗长回答而失分。

9月18日周一
3月28日周二
12月14日周三
  1. Hugging Face Blog67

    Habana Gaudi2 vs Nvidia A100 80GB:模型训练与推理性能对比

    Habana Gaudi2在BERT预训练、Stable Diffusion推理和T5-3B微调上的吞吐或延迟比Nvidia A100 80GB快约1.8至2.84倍,且支持更大模型微调。测试通过Optimum Habana框架完成,单卡显存为96GB;A100使用fp16,Gaudi使用bf16或fp32。

    推荐理由:给出了Gaudi2与A100的逐项吞吐、延迟和参数量对比,读者可以据此判断硬件替代成本。

6月28日周二
12月3日周二
8月6日周一
  1. OpenAI22

    OpenAI Five Benchmark 结果

    OpenAI Five 在 Dota 比赛中以三局两胜战胜由第 99.95 百分位玩家组成的战队。该对战在五名人类选手(其中四人拥有职业 Dota 经验)面前进行,吸引了 10 万名并发直播观众观看。

7月17日周一