arXiv · ML· Mukund Athmaram, Manoj Rao, Liang Ma·· 2026-10-14AI 评分22
小型语言模型上下文感知精度调度研究
Context-Aware Precision Scheduling for Small Language Models
AI 导读
研究提出一种针对端侧小型语言模型的上下文感知精度调度方法,通过结合校准的时序模型和张量敏感度优化精度配置。 在笔记本 GPU 上测试显示,延迟预算下系统会降低权重精度以利用缓存读取时间,工具使用基准测试验证了该调度对完整响应时间和正确性的影响。
来源:arXiv · ML · arxiv.org