arXiv · NLP· Yao Lu, Zhaiyuan Ji, Yaxin Gao, Zeyu Wang, Zhe Tang, Jiaheng Wei, Zhaowei Zhu, Shanqing Yu, Qi Xuan·· 2026-10-06AI 评分33
LLM 路由新框架 CASLR:通过簇感知软标签降低推理延迟
Breaking the Tie: A Cluster-Aware Routing Framework for Large Language Models
AI 导读
CASLR 提出一种簇感知软标签路由框架,通过掩码 softmax 机制替代 one-hot 标签,解决多模型答案重叠导致的“路由噪声”问题。 该框架在多个基准测试中表现更优,平均性能超越 Llama-3.3-70B-Instruct 7.80%,且路由推理延迟仅为 1.13 秒。
来源:arXiv · NLP · arxiv.org