跳到正文
Hacker News LLM· 0ARCH·· 2026-10-10AI 评分69

Kisoku 1.6B 开源发布,独立训练性能比肩 Llama 3.2 1B

Kisoku 1.6B: LLM trained solo from scratch on a TPU grant, matches Llama 3.2 1B

AI 导读

Kisoku 1.6B 是一个由单人基于 Google TPU 从头预训练的大语言模型,采用 Apache 2.0 协议开源。模型在 10 项基准测试中与 Meta 的 Llama 3.2 1B 持平,且训练数据量约为后者的 1/18。项目提供 64K 上下文支持、聊天微调预览版以及完整的技术报告和评估代码。

来源:Hacker News LLM · github.com