arXiv · ML· Zhihao Xia, Tingting Wang, Hui Li, Yongheng Xing, Chunxu Tian·· 7 天前AI 评分26
MechBench: 面向平行机构的领域特定 LLM 基准
MechBench: A Domain-Specific LLM Benchmark for Parallel Mechanisms
AI 导读
提出包含 2541 道问题的 MechBench,用于评估 LLM 在平行机构专业知识、分析与设计上的能力。该基准通过 MechForge 框架构建,包含标准与高难度层级及九项可执行任务。实验显示领先模型在标准层得分超 95,但在高难度层仅 47-60 分。
来源:arXiv · ML · arxiv.org