跳到正文
arXiv · AI· Elioth Sanabria·· 2026-10-08AI 评分31

LLM 推理中智能的影子价格:质量退化与重试反馈

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

AI 导读

研究建立 LLM 推理分配模型,证明容量受限时便宜模型虽省电但更耗容量,折扣效应反转。 引入几何重试乘数和双机制瞬态流体队列,揭示反应式节流可能制造比消除更多的流量。 在拥塞下,节流是需求杠杆而非成本杠杆,异质客户的智能影子价格按类别和小时为边际查询定价。

来源:arXiv · AI · arxiv.org