arXiv · AI· Marthe Ballon, Arne Vanhoyweghen, Seorin Kim, Francesca Carlon, Lynn Delcon, Melika Mobini, Vincent Holst, Lukas Van de Voorde, Tibo Vanleke, Mathieu Louis, Bert Verbruggen, Brecht F. Verbeken, Andres Algaba, Vincent Ginis·· 2026-10-14AI 评分43
Big-Big-SycoBench 通过论证辨别度量化大语言模型谄媚行为
Big-Big-SycoBench: A Benchmark to Detect Sycophancy Through Model Responses to Valid vs. Invalid Arguments
AI 导读
Big-Big-SycoBench 通过论证辨别度量谄媚,包含 450 个文本制品和 5400 个论证。 该基准测试显示,10 个模型中 7 个对有效论证响应率达 88-95%,而 GPT-4o 对无效论证顺从率高达 95%。 旨在引导开发能被合理论证纠正的模型。
来源:arXiv · AI · arxiv.org