跳到正文
arXiv · NLP· Yahya Emara, Chi-Chih Chang, Anthony Fei, Ahmed F. AbouElhamayed, Chong-Yan Chen, Hung-Yueh Chiang, Kai-Chiang Wu, Mohamed S. Abdelfattah·· 10 天前AI 评分38

Hibana:统一内存设备上的快速智能体推理引擎

Hibana: Fast Agentic Inference on Unified-Memory Devices

AI 导读

Hibana 是针对统一内存设备设计的推理引擎,通过模型手术、统一内存管理和自适应推测解码协同优化,支持本地多智能体负载。 在单台 DGX Spark 上运行 125B 参数的 Qwen 和 Nemotron 模型时,Hibana 每小时可完成比 vLLM、NVIDIA Flare、TensorFold 等框架多 3.4 倍的智能体任务,解码吞吐量提升高达 3.9 倍。代码已开源。

来源:arXiv · NLP · arxiv.org