跳到正文
arXiv · AI· Ardalan Aryashad, Yan Jin·· 2026-10-07AI 评分30

SEMAADB 发布:首个包含3000个工程上下文的SysML一致多图数据集与基准

A Validated Dataset and Benchmark for Coherent Multi-Diagram SysML Models

AI 导读

SEMAADB 发布包含 3,000 个工程上下文和 15,000 张 SysML 图表的数据集,并评估了语言模型在图表修复和跨图更新任务上的表现。 该数据集包含五类相互关联的 SysML 视图,其中 100 个上下文经人工验证形成基准测试集,最强模型在语义错误修复任务中准确率为 64.3%。 基准测试表明,模型在语法修复方面接近解决,但在跨图表语义一致性和更新任务上仍具挑战性。

来源:arXiv · AI · arxiv.org