跳到正文
arXiv · ML· David Pape, Jonathan Evertz, Lea Sch\"onherr·· 11 天前AI 评分50

推理后端:量化其对 LLM 可复现性的影响

The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility

AI 导读

研究分析3.5万篇论文,发现推理栈少被报告;固定权重等条件测试vLLM等5个引擎,仅更换后端可使基准分数偏移多达16.6个百分点。 偏移由前缀缓存、CUDA graphs等系统优化及logit处理默认值驱动,该研究将推理后端定义为关键超参数,呼吁标准化报告以提升可复现性。

来源:arXiv · ML · arxiv.org