arXiv · AI· Mithun Sasidharan, Srinivasan Manoharan, Rupesh Thakur, Abhinav TK, Ashwin Hegde, Anand Gautam·· 1 天前AI 评分28
PayPal Cosmos LLM Gateway：基于 Envoy 的策略驱动多厂商大模型网关设计与运行
Governing Enterprise AI Traffic at Scale: Design and Operation of a Policy-Driven, Multi-Vendor LLM Gateway on Envoy
AI 导读
PayPal 推出基于 Envoy 的 Cosmos LLM Gateway，整合多厂商大语言模型，提供认证、费用管控和策略治理的统一入口。 核心请求路径在单 4vCPU 实例上支持每秒 2,200 次请求，中位额外延迟 4 ms，p99 延迟 11 ms；策略由 Open Policy Agent 声明式执行，支持数据防泄漏。
来源：arXiv · AI · arxiv.org