Hacker News LLM· photon_collider·· 4 天前AI 评分42
LLM 推理速度预测:一条直线揭示 MacBook Pro 内存带宽瓶颈
A Straight Line Predicts How Fast My Laptop Generates LLM Tokens
AI 导读
summary_zh: 在 MacBook Pro M2 Pro 上测得 LLM 解码阶段有效内存带宽为 163 GB/s,固定开销 4.03 ms,建立 TPOT 线性预测模型。
来源:Hacker News LLM · bryananthonio.com