arXiv · ML· Bokun Wang, Hung-Yueh Chiang, Diana Marculescu·· 23 小时前AI 评分26
ACSeL 框架：面向硬件受限 LLM 推理的自适应配置搜索
ACSeL: Adaptive Configuration Search for Hardware-Constrained LLM Inference
AI 导读
ACSeL 是一个专为内存和延迟受限环境设计的 LLM 推理配置搜索框架。 它结合轻量级质量代理、Few-shot Median Calibration (FMC) 和 BandPareto 搜索算法，在 NVIDIA Jetson Thor 等平台上显著提升了部署可行性。 该方法通过预测满足约束的最优配置，实现了生成质量与资源限制的高效平衡。
来源：arXiv · ML · arxiv.org