arXiv · AI· Hannah Li·· 7 天前AI 评分23
交互 LLM 系统中用户适应性对模型评估的挑战
When Both Sides Adapt: The Challenges of Evaluating Interactive LLM Systems
AI 导读
用户适应性导致离线基准测试与在线 A/B 测试分别收敛于共同分布效应和诱导分布效应,两种方法可能得出不同的模型排名,进而影响部署建议。 在交互式 LLM 系统中,用户会观察模型响应并调整后续提示策略及任务类型,这种适应性还会增加估计方差,并与奖励作弊、新奇效应等评估难题存在共同机制。
来源:arXiv · AI · arxiv.org