arXiv · NLP· Michael Foster, Barbara McGillivray, Gard B. Jenset, Jakub M\'acha, Jason Harding, Marcus Perlman, Devyani Sharma, Patrick Skeels, Jana Willer-Gold, Jeannette Littlemore·· 4 小时前AI 评分32
LALA 基准：评估大语言模型的文学与语言学分析能力
The LALA Benchmark: Evaluating Literary and Linguistic Analysis in LLMs
AI 导读
专家引入含 236 道开放式问题的 LALA 基准，评估 17 个语言模型的文学与语言学分析表现。 基础模型表现较差，而经过后训练的模型显著提升；参数规模与得分无统计显著关联，后训练对语言能力的获取起核心作用。 人机评估结果高度一致，支持该基准的可靠性，为未来模型改进提供指导。
来源：arXiv · NLP · arxiv.org