arXiv · NLP· Tae Soo Kim, Tongshuang Wu, Juho Kim·· 3 天前AI 评分28
SWE-WhatIf:通过模拟真实用户会话评估编码智能体
SWE-WhatIf: Simulating Real Users of Coding Agents from Recorded Session
AI 导读
SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。
来源:arXiv · NLP · arxiv.org