跳到正文
arXiv · ML· Zhihao Xia, Tingting Wang, Hui Li, Yongheng Xing, Chunxu Tian·· 7 天前AI 评分26

MechBench: 面向平行机构的领域特定 LLM 基准

MechBench: A Domain-Specific LLM Benchmark for Parallel Mechanisms

AI 导读

提出包含 2541 道问题的 MechBench,用于评估 LLM 在平行机构专业知识、分析与设计上的能力。该基准通过 MechForge 框架构建,包含标准与高难度层级及九项可执行任务。实验显示领先模型在标准层得分超 95,但在高难度层仅 47-60 分。

来源:arXiv · ML · arxiv.org