arXiv · NLP· Woojin Lee, Yoonkyu Woo, Jinah Kim, Hyeok-Min Gwon, Jin-Xia Huang·· 5 小时前AI 评分26
MISCONCEPTDIALOGUE 揭示 LLM 数学辅导评测标准决定结果：不同评分方法差距达 39.2 个百分点
MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring
AI 导读
MISCONCEPTDIALOGUE 框架在 5000+ 轮对话中对比评测 7B-14B 开源 LLM 数学导师。 基准 exact-match 仅 42.1% 成功率，而人类校准 LLM judge 达 81.3%，差距 39.2 个百分点，超过导师模型、教学策略和诊断信息的综合影响。 多判官收敛（kappa 最高 0.91）表明评分标准本身比模型能力更影响结果，评估需多标准多判官加人类锚定。
来源：arXiv · NLP · arxiv.org