ACCT：跨模型非对称上下文转移技术

arXiv发布名为ACCT的新方法论文，旨在解决大语言模型间“跨模型”的上下文转移问题。该方法允许不同规模的模型（例如从较小的模型推理到较大的模型，或反之）在不进行重复计算的情况下直接传递上下文，通过非对称转移机制实现效率与性能的双重优化。 ACCT算法由定位、分配和编译三个轻量级组件构成。其核心优势在于支持高达75%的KV cache压缩率，同时能够保持甚至提升模型的推理性能。在约19K tokens的上下文长度下，该方案使上下文预处理速度提升了6.5至21.2倍，实现了高效的跨模型上下文复用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。