arXiv · NLP· Yuning Bian, Lele Xu, Yifan Yuan, Xinyu Yin, Chengyan Zhan·· 3 小时前AI 评分23
固定、递归与内容定义分块在真实文档修订下的重算成本与检索质量测量
Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking
AI 导读
120对中英文维基修订对显示，固定大小分块重算57-68%嵌入输入，递归分块为38-56%，内容定义分块为43-54%。 在2048 token检索预算下，各分块策略的证据召回率差异小于2个百分点，且成本排序随参数变化。
来源：arXiv · NLP · arxiv.org