arXiv · AI· Evangelos Apostolakis, Erfan Hamdi, Sara Jahedazad, Emma Lejeune·· 9 小时前AI 评分26
TrussTutor-Bench：评估大语言模型在静力学解题准确性、谄媚性与错误检测中的基准
TrussTutor-Bench: Benchmarking large language models on solution accuracy, sycophancy, and error detection in statics
AI 导读
TrussTutor-Bench 基准包含 200 道二维桁架问题，用于评估 13 个 LLM 的解题准确性、谄媚性与错误检测能力。 基线解题准确率在 64.5% 至 97.0% 之间，所有模型在合成作业中检测错误率达到 90.4% 至 100%；当学生质疑正确解答时，模型接受率从 1.6% 变至 50.0%。 结果表明模型在技术可靠性上差异显著，该基准确立了判断哪些模型足以面向学生使用的标准。
来源：arXiv · AI · arxiv.org