Hacker News LLM· all2·· 9 天前AI 评分65
Nanotern:单张 RTX 4090 训练 126M 参数量化 LLM 研究
Nanotern – Ternary LLM training on consumer hardware
AI 导读
研究者报告在单张 RTX 4090 上从头训练 126M 参数 Transformer 的实验,对比了全精度、PTQ 和 QAT 三种模式。结果显示 QAT 的 ternary 权重模型相比全精度模型 bpb 仅增加 0.053,且部署体积压缩至 61 MB(减少 76%),证明了消费级硬件进行三值量化研究的可行性。
来源:Hacker News LLM · github.com