多轮对话语义缓存新算法提出

Atalar等人提出CUCB-SC-MT和CLCB-LS-MT两种多轮LLM服务语义缓存算法，解决嵌入相似度预测缓存可接受性表现不佳的问题（AUC 0.62-0.74）。 CUCB-SC-MT从日志对话中学习并具备次优性保证，CLCB-LS-MT在线学习且当对话状态重现时对N个请求具有~O(√N)遗憾。 在数学辅导（SocraTeach）和电影票务（Taskmaster-3）对话测试中，基于1000条缓存条目，CLCB-LS-MT通过可接受复用避免35-41%生成成本，并降低19-35%服务延迟。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。