arXiv · AI· Saul Urso, Emanuele Carlini, Patrizio Dazzi, Matteo Mordacchini·· 10 天前AI 评分29
PISA 与 PISA-E:提示词自适应且成本感知的大语言模型集成路由方法
Ensemble Routing for Prompt-Adaptive Cost-Aware LLM Inference
AI 导读
PISA-E 在四个 LLM 路由基准测试中,以最高宏平均任务性能表现优于最强集成竞争对手,ID 条件下领先 2.09 个百分点,OOD 条件下领先 2.87 个百分点。 该方法通过联合选择集成组合与基数,在无需重训练的情况下动态调整成本与质量偏好,显著降低推理开销。 在部分低成本运行点,PISA-E 相比最强竞争对手,平均推理成本降低约 36% 和 25%。
来源:arXiv · AI · arxiv.org