arXiv · NLP· Sejun Park, Haocheng Xia, Yongjoo Park·· 2026-10-14AI 评分30
PAIR:通过阅读-推理融合实现高效低内存推理
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
AI 导读
多模型方法 PAIR 融合 Reader 与 Reasoner 模型以高效处理基于上下文的问答任务。 在 HotpotQA 上,使用 32B Reasoner 的 PAIR 在约为全上下文模型 1/4 KV 内存下保留 96% 准确率;在 45.7K token 上下文下端到端吞吐量最高达全上下文模型的 3.2 倍。
来源:arXiv · NLP · arxiv.org