arXiv · ML· Mukund Athmaram, Manoj Rao, Liang Ma·· 2026-10-14AI 评分23
The Price of Precision: A Calibrated Cost Model for Mixed-Precision LLM Serving
The Price of Precision: A Calibrated Cost Model for Mixed-Precision LLM Serving
AI 导读
提出一种针对混合精度 LLM 服务的校准成本模型,解决平均位宽或内存预算作为速度代理指标导致的准确性缺失问题。该模型能根据执行阶段、批大小和上下文长度,识别计算、权重加载或 KV cache 访问中的瓶颈资源,从而准确预测服务延迟。在三种硬件类别中评估了该模型作为预测器的准确性,并将其与测量精度成本结合,通过动态规划在延迟或精度预算下分配配置。
来源:arXiv · ML · arxiv.org