跳到正文
arXiv · NLP· Colin Priest·· 11 天前AI 评分27

语言特征与LLM决策任意性:同一事实不同救济判定的审计研究

Same Facts, Different Remedy: Linguistic Profiling and Arbitrariness in LLM and System One Decisions

AI 导读

针对消费投诉救济判定系统,审计发现语言风格导致同一投诉的货币判决结果存在 2.6-6.3% 的个体不稳定率。在群体层面,年龄、学历和 SES 的差异导致救济金额差距极小,均在 0.5 个百分点以内。独立 LLM 审计显示,改写文本中 3.3% 至 11.7% 包含实质性事实变更。公平性审计应将群体差异与个体不稳定作为独立指标分别报告。

来源:arXiv · NLP · arxiv.org