跳到正文
arXiv · NLP· Shuyue Stella Li, Bhargavi Paranjape, Kerem Oktar, Zhongyao Ma, Gelin Zhou, Lin Guan, Na Zhang, Sem Park, Lin Chen, Diyi Yang, Yulia Tsvetkov, Asli Celikyilmaz·· 13 小时前AI 评分37

HorizonBench 评估长期个性化中偏好演变的挑战

HorizonBench: Long-Horizon Personalization with Evolving Preferences

AI 导读

研究引入 HorizonBench 及数据生成器,评测 25 个前沿模型在偏好演变中的表现。 该基准包含 360 名用户的 4245 个问题,结合 13 周收集的人工纵向数据集。模型准确率达 52.8% 时,常错误选择过时偏好;检索与记忆方法均无法恢复丢失的准确率。

来源:arXiv · NLP · arxiv.org