跳到正文
arXiv · AI· Iordanis Fostiropoulos, Muhammad Rafay Azhar, Abdalaziz Sawwan, Boyu Fang, Yuchen Liu, Jiayi Liu, Hanchao Yu, Qi Guo, Jianyu Wang, Fei Liu, Xiangjun Fan·· 2026-10-05AI 评分20

GISTBench:基于证据兴趣验证评估 LLM 用户理解能力

GISTBench: Evaluating LLM User Understanding via Evidence-Based Interest Verification

AI 导读

GISTBench 是一个评估 LLM 从交互历史中提取并验证用户兴趣的新基准。 该基准提出兴趣接地(IG)和兴趣特异性(IS)两类指标,用于区分幻觉兴趣与覆盖率。 研究评测了 8 个开源 LLM(7B 至 235B 参数)及 GPT-5、Claude 4.6 和 Gemini 3.5 Flash,发现当前模型在跨类型互动信号计数与归因上存在瓶颈。

来源:arXiv · AI · arxiv.org