跳到正文
arXiv · NLP· Wei Huang, Keping Bi, Yinqiong Cai, Wei Chen, Jiafeng Guo, Xueqi Cheng·· 2026-10-16AI 评分22

研究揭示 LLM 生成文本对 BM25 等基于词项检索模型的影响

How Do LLM-Generated Texts Impact Term-Based Retrieval Models?

AI 导读

研究表明,经典基于词项的检索模型(如 BM25)并未对 LLM 生成内容表现出固有偏见,而是优先排序词项分布与查询更匹配的文档。 LLM 生成文本在语言分析上呈现出平滑的高频分布、陡峭的低频 Zipf 斜率、更高的词项具体性及文档级多样性。 该研究为理解混合来源内容中检索系统的潜在偏见提供了理论基础。

来源:arXiv · NLP · arxiv.org