arXiv · NLP· Andr\'es Abeliuk, Cinthia Sanchez Macias, Valentina Alarc\'on, \'Alvaro Madariaga, Claudia Lopez·· 9 天前AI 评分21
基于情境交互审计(SIA)框架的LLM用户中心偏见研究
Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research
AI 导读
提出情境交互审计(SIA)框架,用于诊断大语言模型在开放交互中对不同用户的差异化偏见,弥补传统第三方审计缺失用户视角的盲点。 SIA引入用户画像信号类型学(包括姓名/表面标记、写作风格/方言、陈述身份),提供设计原则与结果度量标准以增强研究可比性。 案例研究覆盖9个任务领域和3个模型,分析智利用户姓名对响应的影响,并为从业者提供指南及开放研究问题。
来源:arXiv · NLP · arxiv.org