跳到正文
arXiv · NLP· Bogdan Mamaev, Qizhou Wang, Christopher Leckie, Matteo Vergani·· 9 天前AI 评分27

衡量 LLM 在社会科学概念标注中的定义敏感性

Measuring Definition Sensitivity in LLM Annotation of Social Science Concepts

AI 导读

研究显示,更换概念定义比单纯改写措辞对 LLM 标注结果的影响更大。 该现象被称为“定义敏感性”,涉及六个概念与三款 LLM 的测试。 这表明 LLM 标注结果依赖于提示词中的定义,而非仅基于预训练知识。

来源:arXiv · NLP · arxiv.org