arXiv · ML· Aditi Patodiya·· 4 天前AI 评分37
按文件大小与单任务能耗选择量化代码 LLM
Choosing Quantized Code LLMs by File Size and Energy per Solved Task
AI 导读
一项针对 Qwen2.5-Coder 在 MacBook Air M2 上的评估表明,在 1 至 2 GB 文件大小区间,选择 q4_K_M 格式优于大模型低精度选项。 测试显示 3B 模型在 2 GB 档位的正确性与能耗表现均达前沿水平,而 7B-q2_K 在 3 GB 档位能耗增加但无显著正确率提升。 该研究为本地部署代码助手提供了基于 Ollama 文件大小的具体选型指南。
来源:arXiv · ML · arxiv.org