arXiv · NLP· Khan Mahi Al Atahar, Nazifa Tasneem, Ajwad Abrar·· 2026-10-15AI 评分25
多语言摘要 LLM 评估:GPT-5.6 Luna 未保持孟加拉语优势
Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
AI 导读
该研究对 8 个 LLM 进行零样本基准测试,GPT-5.6 Luna 领先英文词汇指标,LLaMA 3.3 70B 取得最高 ROUGE 和 BLEU,Gemini 2.5 Flash 获最高孟加拉语事实性分数。 测试采用词法、语义指标及 LLM-as-a-Judge 评估,结果显示不同方法产生不同排名,单一指标存在局限。 这凸显了面向低资源语言需采用综合评估框架的必要性。
来源:arXiv · NLP · arxiv.org