跳到正文
arXiv · AI· Wei Feng, Meiling Chen, Boxiao Chen, Lu Liu, Bin Zi, Libin Ye, Xingyu Lu, Lei Xu, Jun Zhou·· 7 天前AI 评分30

通过推理环境协同降低 LLM Agent 工作负载批处理最大跨度

Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination

AI 导读

提出推理环境协同优化策略,在 BFCL、SWE-bench Multilingual 等基准测试中使批处理最大跨度降低 10.4% 至 65.0%,评测分数保持一致。

来源:arXiv · AI · arxiv.org