arXiv · NLP· Aspen Wang, Yen Yu Shan, Lun-Wei Ku·· 3 天前AI 评分32
审计 LLM 合成受访者的人口统计信息披露
Necessary for What? Auditing Demographic Disclosure to LLM Synthetic Respondents
AI 导读
研究发现向 LLM 合成受访者提供人口统计信息对个体预测增益微小,多数群体估计增益可被普查数据或合成画像替代。在 11 个开源模型和 3 个托管模型中,模型倾向于使群体差异扁平化,尤其是宗教和民族差异。 该研究基于两项美国调查,对比了 LLM 与统计模型在相同信息下的表现。 作者提出了一种审计方法,帮助调查机构判断哪些估计可以使用人口统计记录。
来源:arXiv · NLP · arxiv.org