跳到正文
arXiv · NLP· Minxuan Hu, Qishi Zhan, Ziheng Chen, Zhengtao Yao, Zihan Dong, Jiayu Yi, Wenxi Sun·· 3 天前AI 评分26

成本感知LLM路由部署承诺审计:MARC框架如何降低服务违约风险

When the Cheapest Feasible Router Fails: Auditing Deployment Commitments in Cost-Aware LLM Routing

AI 导读

审计显示最廉价可行LLM路由器在91.82%机会中部署,却导致32.22%服务合同违约。 引入菜单感知路由承诺框架MARC及其实用变体MARC-P,将条件失败率降至0.73%并维持85.79%部署率。 研究确立部署承诺为连接路由评估、服务可靠性与推理成本的独立运营决策。

来源:arXiv · NLP · arxiv.org