ConTextual 数据集:评估多模态大模型在文本丰富场景中的联合推理能力
加州大学洛杉矶分校发布 ConTextual 数据集,用于评估多模态大模型在文本丰富场景中的上下文敏感视觉推理能力。该数据集包含 506 个指令,覆盖地图导航、信息图表阅读等 8 类真实场景,旨在测试模型对文本与视觉线索的联合推理表现。实验显示,包括 GPT-4V 在内的现代 LMM 在该基准上表现不佳,开源模型在时间阅读等领域存在显著能力缺口,建议通过增强图像编码器及细粒度视觉语言对齐加以改进。
加州大学洛杉矶分校发布 ConTextual 数据集,用于评估多模态大模型在文本丰富场景中的上下文敏感视觉推理能力。该数据集包含 506 个指令,覆盖地图导航、信息图表阅读等 8 类真实场景,旨在测试模型对文本与视觉线索的联合推理表现。实验显示,包括 GPT-4V 在内的现代 LMM 在该基准上表现不佳,开源模型在时间阅读等领域存在显著能力缺口,建议通过增强图像编码器及细粒度视觉语言对齐加以改进。
Upstage 发起 Open Ko-LLM 排行榜,旨在构建韩国 LLM 评估生态系统。该平台已收集超过 1,000 个模型,并采用包括 Ko-MMLU 在内的五种评估任务。KT 的 Mi:dm 7B 模型在该 7B 参数级模型中排名首位并公开可用。
Patronus 团队在 Hugging Face 推出 Enterprise Scenarios Leaderboard,专注于评估 LLM 在金融、法律等真实企业场景中的表现。该榜单涵盖 FinanceBench、Legal Confidentiality 等 6 项任务,通过混合开源与闭源数据集防止测试集污染。用户可据此对比模型在准确性、相关性等指标上的实际应用能力。
Hallucinations Leaderboard 是一个开放项目,利用 EleutherAI 评估框架测试 LLM 在事实性和忠实性上的幻觉表现。该基准包含 NQ Open、TruthfulQA、XSum 等多种任务,所有指标均归一化至 0 到 1 区间。
Hugging Face 展示了如何用 ChatHuggingFace 构建 ReAct 智能体,并发布了 smolagents 库。基准测试显示 Mixtral-8x7B-Instruct-v0.1 在工具调用和搜索任务上表现优于 GPT-3.5,而 Llama2-70b-chat 表现意外较差。
Vectara 发布基于 Hugging Face 排行榜模板的 HHEM 幻觉评估排行榜。HHEM 是开源模型,用于衡量 LLM 生成文本的幻觉程度。该指南详细说明了如何使用 leaderboard 模板代码搭建支持动态更新的评估系统,包含数据集管理与后端定制步骤。
Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。
推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。
Hugging Face 宣布在修复前将 DROP 评测基准从 Open LLM Leaderboard 移除。团队排查发现,归一化逻辑在处理数字后带换行符时失效,且以句号作为生成停止词会导致浮点数答案提前截断或优质模型因生成冗长回答而失分。
Hugging Face 发布 Object Detection Leaderboard,对 Hub 上的目标检测模型进行排名。该榜单基于 Average Precision 和 Average Recall 指标,深入解析 Intersection over Union 计算方法,并揭示模型评估中的潜在分歧。
BLOOMZ 在 Habana Gaudi2 上推理性能优于 A100 80GB,176B 参数版本速度达 1.42 倍,7B 参数版本速度达 2.89 倍。 测试基于 Optimum Habana 库,使用 DeepSpeed-inference 实现模型并行,支持 16 位精度下的低延迟推理。
Habana Gaudi2在BERT预训练、Stable Diffusion推理和T5-3B微调上的吞吐或延迟比Nvidia A100 80GB快约1.8至2.84倍,且支持更大模型微调。测试通过Optimum Habana框架完成,单卡显存为96GB;A100使用fp16,Gaudi使用bf16或fp32。
推荐理由:给出了Gaudi2与A100的逐项吞吐、延迟和参数量对比,读者可以据此判断硬件替代成本。
Hugging Face 发布 Evaluation on the Hub 工具,允许用户在不编写代码的情况下评估 Hub 上的任何模型。该工具由 AutoTrain 提供支持,通过 Pull Request 在模型卡片中展示经过验证的性能结果,结果直接编码在元数据中。
OpenAI 发布 Procgen Benchmark,提供 16 个简单易用的程序化生成环境。该基准直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI Five 在 Dota 比赛中以三局两胜战胜由第 99.95 百分位玩家组成的战队。该对战在五名人类选手(其中四人拥有职业 Dota 经验)面前进行,吸引了 10 万名并发直播观众观看。
OpenAI 创建了能在多种尺度和视角下可靠欺骗神经网络分类器的图像。这一成果反驳了上周关于自动驾驶汽车因从多尺度、多角度和视角捕获图像而难以被恶意欺骗的说法。