跳到正文
Hacker News LLM· all2·· 9 天前AI 评分65

Nanotern:单张 RTX 4090 训练 126M 参数量化 LLM 研究

Nanotern – Ternary LLM training on consumer hardware

AI 导读

研究者报告在单张 RTX 4090 上从头训练 126M 参数 Transformer 的实验,对比了全精度、PTQ 和 QAT 三种模式。结果显示 QAT 的 ternary 权重模型相比全精度模型 bpb 仅增加 0.053,且部署体积压缩至 61 MB(减少 76%),证明了消费级硬件进行三值量化研究的可行性。

来源:Hacker News LLM · github.com