arXiv · NLP· Hadi Mohammadi, Jeroen Sparla, Alexandros Paliouras, Georg Krempl, Robert A. Bagheri·· 12 小时前AI 评分39
CV Priority Sorter 审计:人类在环 CV 排序器的部署发现
Prioritize, Don't Decide: What We Learned Auditing a Deployed Human-in-the-Loop CV Sorter
AI 导读
在 300 份合成 CV 池中,按工具建议顺序阅读可在半堆内容中发现 95% 的相关候选人,优于随机顺序。 该系统使用冻结的多语言 Transformer 编码器,结合会话级线性模型,每次标签后重新训练并在会话结束时丢弃。 审计发现文档长度即可排序导致指标无效,不确定性采样虽保持模型质量但增加委员会总阅读负载;托管 LLM 嵌入模型将零标签序数判别力从 0.66 提升至 0.80。
来源:arXiv · NLP · arxiv.org