arXiv · NLP· Chungche Huang, Po-Ya Angela Wang, Shu-Kai Hsieh·· 4 小时前AI 评分28
25个基座模型机制分析：LLM自动作文评分中的评分标准并非独立控制
Inside the Scorer: Mechanistic Evidence on Rubric Control in LLM-Based Automated Essay Scoring from 25 Base Models
AI 导读
对25个开源基座LLM的机制研究发现，其内部表示仅能部分解码整体评分，且因果干预表明评分标准方向共享主导杠杆，无法独立控制。 具体而言，针对性干预（如语法）仅带来约2%微弱优势，且该局限在评分与人类专家一致性最高的7个模型（$r \geq 0.6$）中依然存在。 该研究确立了新方法，证明评分一致性不代表LLM具备标准级控制力，需改进自动化评估的可解释性。
来源：arXiv · NLP · arxiv.org