arXiv · AI· Hardik Ruparel, Raj Kumar Pandey, Pramod Kumar·· 4 小时前AI 评分23
GRaSP: 面向地理分布式检索增强生成的延迟感知优化
GRaSP: Latency-Aware Optimization for Geo-Distributed Retrieval-Augmented Generation
AI 导读
GRaSP 提出一种无需重训练的地理感知重排序层,在四区域模拟环境下将 P90 获取延迟降低 41%,召回率保留 78%。 该算法基于线性目标与划分拟阵,采用 O(N log N) 贪心策略求解,选择开销低于 1 毫秒,可稳定支持 200 查询/秒。 在端到端问答中,GRaSP 使上下文获取延迟降低 43%,绝对答案准确率与纯相关性检索差距仅 0.062。
来源:arXiv · AI · arxiv.org