Hacker News LLM· scoresmoke·· 5 天前AI 评分68
作者执行超1100次实验评估2020年以来LLM架构改动的实际收益
I Tried Every LLM Architecture Change Since 2020
AI 导读
作者执行超过1100次实验,在统一训练与推理预算下评估2020年以来主要LLM架构改动的质量与成本收益。细粒度MoE与线性注意力带来最大增益,其中LatentMoE在同等推理成本下预测损失降低5.7%,KDA混合架构降低4.7%。最终提出的2026混合架构在1T tokens、同等FP8推理成本下,比GPT-3基准降低9.4%损失,但作者强调架构优化空间有限,优化器与数据改进可能带来更大收益。
来源:Hacker News LLM · nikita-pavlichenko.com