arXiv · AI· Sailendra Kolluru, Maheshkumar Duvvarapu·· 7 天前AI 评分35
Qwen2.5 小模型推理能力路由:模型容量与提示词优化对下游质量及效率的影响
Small Language Models for Inference-Capability Routing: Effects of Model Capacity and Prompt Optimization on Downstream Quality and Efficiency
AI 导读
Qwen2.5 小模型(1.5B-14B)经提示词优化可路由推理、检索等能力,14B 路由器下游 token 消耗减少 68.7%。 最小提示下增大容量未一致提升分类性能,提示优化缩小了推理和计算器路由的容量差距,但 RAG 和 Web 搜索仍受益于更高容量。 14B 路由器 BERTScore F1 达 0.8408,接近全能力启用的 0.8418,中位延迟降低 80.5%。
来源:arXiv · AI · arxiv.org