arXiv · AI· Benjamin Clavi\'e, Herumb Shandilya, Hanna Lichtenberg, Aamir Shakir, Makoto P. Kato·· 2 天前AI 评分20
DealRank:通过轮询分发优化列表式 LLM 重排器调度的效率与准确性
Deal With It: On Better Schedules for Listwise Reranking
AI 导读
DealRank 提出一种基于检索器排名的轮询分发调度策略,优化列表式 LLM 重排器的调用效率。 实验显示,DealRank 在 6 个 LLM 上平均 nDCG@10 仅落后最佳调度 0.1 点,速度比 BlitzRank 快 1.1-1.4 倍,修复调用率从 59% 降至 14%。 该策略在保持重排质量的同时显著降低了延迟,适用于千级候选文档场景。
来源:arXiv · AI · arxiv.org