arXiv · AI· Pei Yang, Wanyi Chen, Tongyun Yang, Pengbin Feng, Jiarong Xing, Wentao Guo, Yuhang Yao, Yuhang Han, Hanchen Li, Xu Wang, Yuan Gao, Zeyu Wang, Jie Xiao, Anjie Yang, Liang Tian, Lynn Ai, Eric Yang, Tianyu Shi·· 1 天前AI 评分36
TwinRouterBench：面向真实智能体LLM路由的静态与动态快速评估基准
TwinRouterBench: Fast Static and Live Dynamic Evaluation for Realistic Agentic LLM Routing
AI 导读
论文发布TwinRouterBench基准，包含970个静态路由前缀与500例SWE-bench Verified动态测试，支持快速离线迭代与端到端验证。 静态轨迹基于downgrade-and-cascade协议生成确定性评分，动态轨迹锁定模型池并以任务解决率和实际API支出为指标，所有代码和数据已开放获取。
来源：arXiv · AI · arxiv.org