arXiv · NLP· Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan, Patricia Buffini, John D. Kelleher·· 5 小时前AI 评分20
CRE-Router：面向成本感知的大语言模型级联服务框架
Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving
AI 导读
CRE-Router 提出两阶段路由方法，在 TeleMath、TeleQnA 和 AIME 上实现比池内高效模型更准确的性能，同时保持与强模型相当的准确率。 该框架将查询聚类并路由至最佳性价比模型，若质量估算器拒绝则升级至强模型，无需额外标注，评估基于 A100 GPU 上 2 到 9 个模型池。
来源：arXiv · NLP · arxiv.org