Hugging Face Blog·· 2021-10-26AI 评分32
大语言模型:新的摩尔定律?
Large Language Models: A New Moore's Law?
AI 导读
作者对 Megatron-Turing NLG 530B 等巨型模型趋势持保留态度,认为其高成本与碳足迹难以匹配多数业务价值。文章建议优先使用预训练模型、选择更小模型(如 T0)并进行微调,而非盲目追求参数规模。
来源:Hugging Face Blog · huggingface.co
Large Language Models: A New Moore's Law?
作者对 Megatron-Turing NLG 530B 等巨型模型趋势持保留态度,认为其高成本与碳足迹难以匹配多数业务价值。文章建议优先使用预训练模型、选择更小模型(如 T0)并进行微调,而非盲目追求参数规模。
来源:Hugging Face Blog · huggingface.co