arXiv · NLP· Daniel Baumartz, Alexander Mehler, Patrick Schrottenbacher, Leon Hammerla, Sebastian Gombert·· 3 天前AI 评分33
LLM 集成在基于评分标准的学生回答自动评分中的表现评估
Rubric-Based AES with LLM Ensembles: Scoring of Student Responses in Critical Online Reasoning Using Ensembles of LLMs
AI 导读
该研究通过 523 种评分标准提示配置,评估了 15 个开源 LLM 在经济学和医学教育学生回答评分中的表现。 实验使用 631 份德语回答及 103 个评分标准,通过 Krippendorff's alpha 和替代标注者测试验证 LLM 与人类评分者的一致性。 结果显示,最优 LLM 配置在 91 项标准中保持或提升了评分者间一致性,并在 90 项标准中通过测试,可有效支持自动化评分。
来源:arXiv · NLP · arxiv.org