跳到正文
arXiv · NLP· Yi Lu, Qianshi Lin, Yumeng Yang, Hongxia Wang·· 13 小时前AI 评分23

长上下文 LLM 服务中保留上下文的计量与计费

Measuring and Charging for Retained Context in Long-Context LLM Services

AI 导读

针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。

来源:arXiv · NLP · arxiv.org