跳到正文
arXiv · NLP· Xinyang Li, Chih-Hsuan Yang, Xiaolong Ma, Anjir Ahmed Chowdhury, Vikram Vasudevan, Rajeev Thakur, Feng Yan·· 13 小时前AI 评分27

多智能体系统如何安全跳过辅助消息以降低 LLM 延迟

Safe to Omit, Worth Omitting? Keeping the Answer and Cutting Latency When an LLM Agent Skips Another's Message

AI 导读

多智能体系统可通过置信度有限样本测试,以 5% 答案变化率上界安全跳过辅助消息,在未知问题中保留 76% 至 95% 的收益。 该机制在 Qwen 模型对上,通过跳过 59% 至 80% 的消息实现文本推理延迟降低数百毫秒,但 KV cache 路径性能未达标。

来源:arXiv · NLP · arxiv.org