arXiv · AI· Etienne Casanova, Rafal Kocielnik, R. Michael Alvarez·· 2026-10-05AI 评分41
九款 LLM 内部化先验对标注任务性能的影响:定义一致性作为模型选择标准
On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance
AI 导读
研究提出“定义特异性熟悉度”(DSF)指标,揭示其在九款 LLM 与六个毒性数据集上以部分相关系数 +0.41 预测标注性能。尽管 DSF 在所有提示条件下均保持正向关联,但额外指令或示例仅能纠正 34.8% 的零样本错误,且高置信度错误尤其顽固,使基于置信度的检测不可靠。该结果确立定义一致性作为实用的模型选择标准,表明单纯优化提示词无法替代模型与任务政策契合度的验证。
来源:arXiv · AI · arxiv.org