arXiv · AI· Shuai Wang, Rui Hu·· 12 小时前AI 评分25
LLM 用户代理能否替代人类进行依赖度测量？模拟用户复现 Rel-A.I.
Can LLM User-Proxies Stand In for Humans in Reliance Measurement? Replicating Rel-A.I. with Simulated Users
AI 导读
研究审计 Rel-A.I. 数据，发现 LLM 用户代理未能有效复现人类对 AI 的依赖行为。 Mistral Small 模型显示领域匹配使依赖度平均提升 13.3 个百分点，最佳代理绝对率误差达 22.5 个百分点。 该单一研究审计结果不支持代理在人类效应量评估中的有效性。
来源：arXiv · AI · arxiv.org