arXiv · AI· Anshu Raina, Yao Fu, Zhang Jiejing, Peyman Razaghi, Shiksha Patel, Ravi Gupta, Deval Shah, Adeem Jassani, Subhajit Dutta Chowdhury, Lorri Rao, Kailash Gogineni, Zhenyu Gu, Onil Gunawardana, Emad Barsoum·· 3 小时前AI 评分23
ROCm InferaSim：削减 LLM 服务试验成本并部署最佳配置
ROCm InferaSim: Cut LLM Serving Trial Costs and Deploy the Best Configuration
AI 导读
ROCm InferaSim 通过预测 LLM 服务性能来降低配置试验成本，在 AMD Instinct MI355X GPU 上仅需 9.1 GPU-hours 获取 11 个锚点，替代原本需要 204 GPU-hours 的完整测量。
来源：arXiv · AI · arxiv.org