AWS Machine Learning Blog· Josh Longenecker·· 29 天前AI 评分35
在 AWS Trainium 上使用 torchtitan 训练 Qwen3
Train Qwen3 on AWS Trainium with torchtitan
AI 导读
在单台 trn2.48xlarge 实例上,通过 torchtitan 提供了三种训练 Qwen3 的方法。 这些方法包括使用 Transformers v5、tochtitan 原生模型规范以及添加 NKI MoE 内核。 环境需安装指定版本的 torch, torch_neuronx 和 transformers。
来源:AWS Machine Learning Blog · aws.amazon.com