跳到正文
Hacker News LLM· liuliu·· 8 天前AI 评分58

Draw Things 团队解析端侧 LLM 预填的误判与工程优化

LLM prefill, what we got wrong

AI 导读

Draw Things 团队复盘了端侧 LLM 预填的工程踩坑。测试发现 INT8 混合精度注意力在长序列上会显著影响准确性;针对形状动态变化重写 kernel 导致小 GEMM 性能下降超 25%;而将 MoE 权重按需加载 SSD 在短 chunk 时存在 4-5 倍延迟惩罚。

来源:Hacker News LLM · engineering.drawthings.ai