跳到正文
arXiv · AI· Etienne Casanova, Rafal Kocielnik, R. Michael Alvarez·· 2026-10-05AI 评分41

九款 LLM 内部化先验对标注任务性能的影响:定义一致性作为模型选择标准

On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance

AI 导读

研究提出“定义特异性熟悉度”(DSF)指标,揭示其在九款 LLM 与六个毒性数据集上以部分相关系数 +0.41 预测标注性能。尽管 DSF 在所有提示条件下均保持正向关联,但额外指令或示例仅能纠正 34.8% 的零样本错误,且高置信度错误尤其顽固,使基于置信度的检测不可靠。该结果确立定义一致性作为实用的模型选择标准,表明单纯优化提示词无法替代模型与任务政策契合度的验证。

来源:arXiv · AI · arxiv.org