Hacker News LLM· liuliu·· 8 天前AI 评分58
Draw Things 团队解析端侧 LLM 预填的误判与工程优化
LLM prefill, what we got wrong
AI 导读
Draw Things 团队复盘了端侧 LLM 预填的工程踩坑。测试发现 INT8 混合精度注意力在长序列上会显著影响准确性;针对形状动态变化重写 kernel 导致小 GEMM 性能下降超 25%;而将 MoE 权重按需加载 SSD 在短 chunk 时存在 4-5 倍延迟惩罚。
来源:Hacker News LLM · engineering.drawthings.ai