arXiv · AI· Shai Gretz, Alon Halfon, Yoav Katz, Lena Dankin, Michal Jacovi, Rachel Tzoref-Brill, Kfir Toledo, Elron Bandel, Natan Ergas, Michal Malka, Pravein Govindan Kannan, Maroon Ayoub, Michal Shmueli-Scheuer·· 17 小时前AI 评分45
LLM 推理平台在 Agentic 负载下的验证驱动部署
Validation-driven Deployment of LLM Inference Platforms for Agentic Workloads
AI 导读
文章提出了一种针对 Agentic 工作负载的端到端 LLM 推理评估流水线,并开源了相关工具与 trace 数据集。实验显示重放捕获的 trace 可复现会话负载,95 分位数的输入 token 保持在 1.18 倍以内,而实时重跑则达 4.98 倍。在基于 llm-d 的 MoE 模型案例中,捕获工作负载下的吞吐量约为公开 trace 的 60%。
来源:arXiv · AI · arxiv.org