arXiv · ML· Jie Wang, Tong Zhu, Jiahao Kuang, Zhe Xu, Mowen Ruan, Yunkai Chai, Yuliang Liu, Dehong Zheng, Rubin Wei, Yu Cheng, Bowen Zhou, Tao Ji, Zhouhan Lin, Qi Zhang·· 7 天前AI 评分25
ArchSpace:记录、评审与引用大语言模型架构研究的公开平台
ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research
AI 导读
ArchSpace 作为公开平台,通过记录实验与推理、社区评审及引用机制,填补了大语言模型架构创新中缺乏成功与失败文档记录的空白。 平台利用缩放定律从小型实验预测大规模模型损失,以替代高成本训练,并提供了 Qwen3.5 和 OLMo3 基线、拟合的缩放定律及可复用训练配方。 验证的想法将成为新基线,旨在拓宽塑造下一代模型的范围。
来源:arXiv · ML · arxiv.org