跳到正文
arXiv · ML· Mukund Athmaram, Manoj Rao, Liang Ma·· 2026-10-14AI 评分22

小型语言模型上下文感知精度调度研究

Context-Aware Precision Scheduling for Small Language Models

AI 导读

研究提出一种针对端侧小型语言模型的上下文感知精度调度方法,通过结合校准的时序模型和张量敏感度优化精度配置。 在笔记本 GPU 上测试显示,延迟预算下系统会降低权重精度以利用缓存读取时间,工具使用基准测试验证了该调度对完整响应时间和正确性的影响。

来源:arXiv · ML · arxiv.org