跳到正文
arXiv · AI· Viraj Bagal, Raviraja Ganta, Prabhath Chellingi·· 2026-10-07AI 评分41

前沿模型客户反馈分析中的运行间不稳定性测量:相同反馈,不同答案

Same Feedback, Different Answer: Measuring Run-to-Run Instability in Frontier-Model Customer Feedback Analysis

AI 导读

该研究提出了一种用于评估前沿大语言模型在重复运行中表现一致性的框架,引入了主题翻转率和数量分歧两个核心指标。 在八个前沿模型的测试中,基于分类法的智能体(TGA)在固定使用 Claude Opus 4.8 模型和 1,000 条语料库的情况下,将主题翻转率降低了 86-88%,且匹配主题的数量分歧为零。

来源:arXiv · AI · arxiv.org