LALA基准评估大语言模型文学与语言学分析能力

专家团队提出LALA基准，包含236道由语言学和文学研究专家编写的开放式问题，并提供了专家理想答案。该基准旨在系统评估大语言模型在文学与语言学分析方面的能力。 研究将236道题目应用于17个语言模型，采用人类专家评估与Sol、Qwen两个LLM评估器相结合的方式进行评测。结果显示，基础模型在基准评估的语言能力方面表现较差，而经过后训练的模型表现显著提升。 研究进一步发现，模型参数规模与得分之间不存在统计显著关联，表明后训练过程对获取语言能力的核心作用远超单纯的规模扩张。人机评估结果的高度一致性验证了该基准的可靠性，为未来模型改进提供了明确指导。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。