arXiv · NLP· Ravil Mussabayev, Saveliy Zavertyaev, Dmitriy Parpulov, Andrey Savchenko·· 8 小时前AI 评分28
SIT-Eval：基于情境的交互式逐轮对话智能体评估框架
SIT-Eval: Situation-Based Interactive Turn-by-Turn Evaluation of Conversational Agents
AI 导读
SIT-Eval 框架通过 LLM 对话者均匀采样情境并依据情境化规则评估对话智能体，弥补了静态基准在罕见情境下的安全评估缺口。 该框架利用情境感知 LLM 裁判评估智能体回复，并在 1292 个对话轮次中测试 8 个 LLM，发现相似总分模型在规则遵守度上差异巨大，且普遍在歧义澄清和苏格拉底式提问上表现薄弱。
来源：arXiv · NLP · arxiv.org