arXiv · AI· Iordanis Fostiropoulos, Muhammad Rafay Azhar, Abdalaziz Sawwan, Boyu Fang, Yuchen Liu, Jiayi Liu, Hanchao Yu, Qi Guo, Jianyu Wang, Fei Liu, Xiangjun Fan·· 2026-10-05AI 评分20
GISTBench:基于证据兴趣验证评估 LLM 用户理解能力
GISTBench: Evaluating LLM User Understanding via Evidence-Based Interest Verification
AI 导读
GISTBench 是一个评估 LLM 从交互历史中提取并验证用户兴趣的新基准。 该基准提出兴趣接地(IG)和兴趣特异性(IS)两类指标,用于区分幻觉兴趣与覆盖率。 研究评测了 8 个开源 LLM(7B 至 235B 参数)及 GPT-5、Claude 4.6 和 Gemini 3.5 Flash,发现当前模型在跨类型互动信号计数与归因上存在瓶颈。
来源:arXiv · AI · arxiv.org