arXiv · NLP· Md Sabbir Hossen, Anichur Rahman, Pabon Shaha, Airin Afroj Aishi, Andrew H. Sung, Md Shohel Rana·· 8 小时前AI 评分24
小模型路由到 LLM 的置信度效率评估
Who Pays for Efficient Inference? Confidence-Based Small-to-Large LLM Routing Across Tasks and Languages
AI 导读
系统性评估了置信度路由在 LLM 推理降本中的有效性。覆盖 3 个模型族、4 种语言及 3 类任务，共 72 种配置与 42,288 次预测。
来源：arXiv · NLP · arxiv.org