跳到正文
arXiv · NLP· Ond\v{r}ej Tich\'y (Faculty of Arts, Charles University), Anna Marklov\'a (Faculty of Arts, Charles University), Barbora Bulantov\'a (Faculty of Arts, Charles University), Magdalena Titlbachov\'a (Faculty of Arts, Charles University), Ji\v{r}\'i Mili\v{c}ka (Faculty of Arts, Charles University)·· 3 天前AI 评分23

dhAIBench:评估大语言模型语言学标注能力的基准测试框架

Benchmarking Large Language Models for Linguistic Annotation

AI 导读

作者发布 dhAIBench,一个用于评估大语言模型在语言学标注任务中表现的基准测试与标注工具。 该工具支持记录提示词、配置和预测结果,并提供了探索与分享结果的网页界面。 研究通过 48 个模型在 9 项语言学任务上的 293 次运行结果,证明了模型在形态学、句法、语义等任务上能达到与参考标注的高一致性。 结果表明,应针对具体的语言学任务评估模型,而非依赖通用的排行榜。

来源:arXiv · NLP · arxiv.org