arXiv · AI· Francisco Valentini, Edgar Altszyler, Martin Fajcik·· 7 小时前AI 评分28
神经检索器是否偏好特定文档？关于学习到的相关性先验的证据
Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors
AI 导读
监督式双编码器检索器隐含了文档级别的相关性先验，该先验可泛化至未见文档，并在不同模型间保持一致。 通过对冻结文档嵌入训练简单分类器评估三个最先进检索器，发现具有较低先验的文档即使真正相关也更难被检索到，形成“可发现性差距”。 这种偏差在 BM25 中较弱且不稳健，通过 LLM 解释发现，判定相关的文档往往是关于主流话题的综合、自包含的摘要，而利基、碎片化或高度技术化的内容常被遗漏。
来源：arXiv · AI · arxiv.org