arXiv · NLP· Karan Yadav·· 3 小时前AI 评分28
内容审核中分歧与决策风险并非同一概念:廉价结构化模型的独立审计与基准测试
Two Uncertainties Are Not One: Disagreement versus Decision-Risk in Cheap Structured Content Moderation
AI 导读
针对廉价“System One”审核模型(单次约0.000025美元、延迟100ms)的首次独立审计显示,其在142,658条标签数据上的零样本分类AUROC达0.83,与14个前沿推理模型在成本降低1-3个数量级的前提下准确率具有统计可比性。 研究指出模型置信度混淆了人类分歧与决策风险两种不确定性,通过分解子问题可恢复被原生置信度忽略的人类分歧信号,但该方法仅对最弱的模型有效且依赖分布敏感性。
来源:arXiv · NLP · arxiv.org