跳到正文
Hacker News LLM· photon_collider·· 4 天前AI 评分42

LLM 推理速度预测:一条直线揭示 MacBook Pro 内存带宽瓶颈

A Straight Line Predicts How Fast My Laptop Generates LLM Tokens

AI 导读

summary_zh: 在 MacBook Pro M2 Pro 上测得 LLM 解码阶段有效内存带宽为 163 GB/s,固定开销 4.03 ms,建立 TPOT 线性预测模型。

来源:Hacker News LLM · bryananthonio.com