跳到正文
3月5日周二
  1. Hugging Face Blog35

    ConTextual 数据集:评估多模态大模型在文本丰富场景中的联合推理能力

    加州大学洛杉矶分校发布 ConTextual 数据集,用于评估多模态大模型在文本丰富场景中的上下文敏感视觉推理能力。该数据集包含 506 个指令,覆盖地图导航、信息图表阅读等 8 类真实场景,旨在测试模型对文本与视觉线索的联合推理表现。实验显示,包括 GPT-4V 在内的现代 LMM 在该基准上表现不佳,开源模型在时间阅读等领域存在显著能力缺口,建议通过增强图像编码器及细粒度视觉语言对齐加以改进。

2月20日周二
1月31日周三
  1. Hugging Face Blog42

    Hugging Face 发布 Enterprise Scenarios Leaderboard 评测大模型企业场景表现

    Patronus 团队在 Hugging Face 推出 Enterprise Scenarios Leaderboard,专注于评估 LLM 在金融、法律等真实企业场景中的表现。该榜单涵盖 FinanceBench、Legal Confidentiality 等 6 项任务,通过混合开源与闭源数据集防止测试集污染。用户可据此对比模型在准确性、相关性等指标上的实际应用能力。

1月29日周一
1月24日周三
1月12日周五
12月11日周一
  1. Hugging Face Blog89

    Mixtral 8x7b 发布:开源 MoE 模型性能比肩 GPT-3.5

    Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。

    推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。

12月1日周五
  1. Hugging Face Blog55

    Open LLM Leaderboard 移除 DROP 基准

    Hugging Face 宣布在修复前将 DROP 评测基准从 Open LLM Leaderboard 移除。团队排查发现,归一化逻辑在处理数字后带换行符时失效,且以句号作为生成停止词会导致浮点数答案提前截断或优质模型因生成冗长回答而失分。

9月18日周一
3月28日周二
12月14日周三
  1. Hugging Face Blog67

    Habana Gaudi2 vs Nvidia A100 80GB:模型训练与推理性能对比

    Habana Gaudi2在BERT预训练、Stable Diffusion推理和T5-3B微调上的吞吐或延迟比Nvidia A100 80GB快约1.8至2.84倍,且支持更大模型微调。测试通过Optimum Habana框架完成,单卡显存为96GB;A100使用fp16,Gaudi使用bf16或fp32。

    推荐理由:给出了Gaudi2与A100的逐项吞吐、延迟和参数量对比,读者可以据此判断硬件替代成本。

6月28日周二
12月3日周二
8月6日周一
  1. OpenAI22

    OpenAI Five Benchmark 结果

    OpenAI Five 在 Dota 比赛中以三局两胜战胜由第 99.95 百分位玩家组成的战队。该对战在五名人类选手(其中四人拥有职业 Dota 经验)面前进行,吸引了 10 万名并发直播观众观看。

7月17日周一