arXiv · NLP· Xinyi Liu, Hooshang Nayyeri, Emine Yilmaz, Dilek Hakkani-Tur, Charith Peris, Hari Thadakamalla·· 2026-10-15AI 评分29
PersEvalBench 评测 LLM 评估器对个性化信息适用的判断能力
PersEvalBench: Can LLM Evaluators Judge Contextually Appropriate Use of Persona Information?
AI 导读
论文提出 PersEvalBench 基准,包含 403 个多集数场景,测试 LLM 评估器能否识别用户历史信息的恰当使用。 该基准覆盖过度个性化、不足个性化和误用状态三类共九种错误亚型。在五个 LLM 评估器测试中,即使拥有完整对话历史,其识别受控个性化错误的能力依然有限。 结果证实评估器常混淆错误方向,且简化证据呈现方式对提升识别准确率帮助甚微。
来源:arXiv · NLP · arxiv.org