arXiv · AI· Wei Feng, Meiling Chen, Boxiao Chen, Lu Liu, Bin Zi, Libin Ye, Xingyu Lu, Lei Xu, Jun Zhou·· 7 天前AI 评分30
通过推理环境协同降低 LLM Agent 工作负载批处理最大跨度
Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination
AI 导读
提出推理环境协同优化策略,在 BFCL、SWE-bench Multilingual 等基准测试中使批处理最大跨度降低 10.4% 至 65.0%,评测分数保持一致。
来源:arXiv · AI · arxiv.org