长上下文LLM分层计费框架降低会话成本
热点事件持续更新
长上下文LLM分层计费框架降低会话成本
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
针对长上下文大语言模型服务的计费难题,最新研究提出了一种分层框架。该框架旨在解决传统计费方式中因长上下文导致的成本高昂问题,通过差异化处理上下文内容来优化定价逻辑。 实验结果证实,内容相关性在位置权重中起主导作用。在技术实现上,缓存命中机制显著降低了重复前缀的计算成本。具体数据显示,对于65,536个token的重复前缀,其计算成本可降低两个数量级以上,大幅提升了服务效率。 在模拟校准中,该框架显示出显著的经济效益。数据显示,99分位会话的费用可降低31%至42%。不过,研究同时指出,若采用收入匹配的非线性费率,中位数费用可能会增加,表明计费策略需在成本降低与收入平衡间寻找最优解。
AI 根据报道生成 · 11 小时前更新
最新进展11月19日 13:00
长上下文 LLM 服务中保留上下文的计量与计费报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv · NLP长上下文 LLM 服务中保留上下文的计量与计费
针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 911月19日 15:00
- 近 24 小时变化
- –
02.557.510
16:0018:0020:0022:0011月20日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。