AOS-Bench: LLM智能体如何应对动态工作负载？

AOS-Bench 提出评测 LLM 智能体在共享 CPU 和内存限制下管理动态工作负载的能力，指出隔离任务的成功率无法直接迁移到流式任务中。 在五组模型-框架组合中，重负载下所有系统的成功率下降 13 至 23 个百分点；中等负载下系统间表现差异最大可达 26 个百分点，而固定并发为 2 的策略表现接近最优智能体管理策略。