PayPal发布Cosmos LLM Gateway设计论文

2026年10月27日，arXiv平台上线由Mithun Sasidharan等作者撰写的技术论文，详细阐述了PayPal Cosmos LLM Gateway的设计与生产运行架构。该系统作为企业LLM流量的治理入口，整合多厂商大语言模型，提供认证、费用管控和策略治理的统一入口。 在性能指标方面，核心请求路径在单4vCPU实例上支持每秒2,200次请求，中位额外延迟为4毫秒，p99延迟为11毫秒。系统采用Open Policy Agent进行声明式策略执行，支持数据防泄漏功能，实现了策略驱动的多厂商大模型网关管理。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。