arXiv · NLP· Elena Senger, Yuri Campbell, Rob van der Goot, Barbara Plank·· 4 小时前AI 评分35
高分数下的隐性失败：基于代码本的大语言模型内容分析评估
High Scores, Hidden Failures: Evaluating Codebook-Based LLM Content Analysis
AI 导读
大规模实证研究发现，基于 LLM 的代码本内容分析管道虽具有高聚合分数，但存在标签级别分布不均、跨运行不稳定及领域敏感性等隐性失败模式。 研究覆盖 4 个数据集和 5 个模型，表明这些失效在标准指标（如 accuracy 和 micro-F1）下往往不可见，且不会因常用优化策略而消除。 结果证实当前 LLM 编码管道不能被当作稳定的测量工具，需在聚合性能之外进行针对性的可靠性验证。
来源：arXiv · NLP · arxiv.org