arXiv · ML· Dev Akre, Roman Bobalo, Manoj Dobbali·· 10 天前AI 评分20
Runway 监管行业 LLM 推理验证治理决策管道
Inference Validation for Regulated AI: A Governed Decision Pipeline for LLM Serving
AI 导读
MasterControl 内部工具 Runway 围绕 NVIDIA AIPerf 构建治理决策管道,用于满足 LLM 部署的合规与法律义务。 Runway 架构实现缓存与审计机制统一,确保实验前设计与决策后合规的可追溯性。 三项测试发现:TensorRT-LLM 与 vLLM 排名随并发量反转,高价 GPU 可能具备更低单请求成本,且引擎配置优于引擎选择。
来源:arXiv · ML · arxiv.org