跳到正文
arXiv · AI· Karina Romanova, Igor Kiselev, Vladimir Platonov, Viliana Devbunova, Gregory Leleytner, Adeliya Leleytner, Lina Veltman, Aleksandr Nikolich·· 11 天前AI 评分35

LaMP-2 基准上错误用户控制评估分析:86% 个性化增益源于话题不匹配

Not Your Diary, Just Your Topic: Grading the Wrong-User Control

AI 导读

使用 LaMP-2 基准研究发现,仅类别标签即可复现 86% 的个性化准确率差距,合成匹配历史将差距缩小至 0.9 个百分点。 用户自身历史比无历史模型提升 2.3 个百分点,而评估时移除历史会虚增为 4.8 个百分点;在未知用户及电影标签实验中未观察到显著优势。 指出个性化模型应在未知用户和相似内容历史上进行评估,并验证带门控交叉注意力优于纯前缀模型。

来源:arXiv · AI · arxiv.org