arXiv · NLP· Yulu An, Yifei Feng, Xiangyang Yin·· 8 小时前AI 评分28
SpecCompact 利用槽位并行语义推测验证加速 LLM Agent 上下文压缩
SpecCompact: Accelerating LLM Agent Context Compaction with Slot-Parallel Semantic Speculative Verification
AI 导读
SpecCompact 框架通过槽位并行语义推测验证，将 LLM Agent 上下文压缩速度提升 2.04 至 5.63 倍。该框架微调小型草稿模型并行生成摘要槽位，由目标模型验证并修复被拒内容。在 Hermes 系统的用户研究中，其中位压缩速度进一步达到 8.68 倍。
来源：arXiv · NLP · arxiv.org