arXiv · ML· Basavaraj R M, Aryan Bharat Kumar·· 7 小时前AI 评分26
TRIAGE：基于可靠性与负载条件的双层 LLM 服务升级及语义证据判断
TRIAGE: Reliability- and Load-Conditioned Escalation for Two-Tier LLM Serving with a Semantic Evidence Judge
AI 导读
TRIAGE 在 A40 部署 Qwen2.5-7B 与 32B 的测试中，证明预注册可靠性假设失效，但语义判断器将检测 AUROC 提升至 0.846。 该架构使 GPT-3.5 到 GPT-4 级联成本降低 79.5%，但在开放模型对下表现低于随机路由，端到端验证结果呈阴性。
来源：arXiv · ML · arxiv.org