arXiv · NLP· Zhifan Sun, Sebastian Gombert, Jannik Lossjew, Tobias Wyrwich, Berrit Katharina Czinczel, David Bednorz, Marcus Kubsch, Knut Neumann, Hendrik Drachsler·· 2026-10-08AI 评分20
Alice: 用于评分量规驱动的多维度自动简答题评分的大规模德语基准
Alice: A Large-Scale German Benchmark for Rubric-Based Multi-Dimensional Automatic Short Answer Scoring
AI 导读
Alice 是面向教育领域的大规模德语自动简答题评分(ASAS)基准,包含学习表现(Alice-LP)、知识要素(Alice-KE)和技能(Alice-SK)三个子任务。 该基准将评分量规转化为检索任务,并测试了从编码器到轻量级 LLM 及零样本提示的效果。 实验表明 LLM 在零样本下难以准确评分知识要素与技能,但评分量规文本对 Alice-KE 和 Alice-SK 有帮助。
来源:arXiv · NLP · arxiv.org