双节点DGX Spark分布式NanoChat训练测试

2026年11月4日，arXiv发布一项研究，验证了在两台NVIDIA DGX Spark上通过Tailscale VPN进行远程分布式NanoChat预训练的可行性。该研究构建了一个896.5M参数的模型，共处理了52.2亿个token。 在硬件连接方面，两台设备利用200 Gb/s光纤进行直连。整个训练过程共执行4980步，总耗时4天，平均每步耗时63.4秒。这一结果证实了桌面级加速器在多节点分布式训练场景下的有效性。 然而，研究结果也揭示了局限性。虽然预训练验证成功，但在后续的CTI（网络威胁情报）微调阶段，模型在面对未见过的威胁情报时，其泛化能力接近零。这表明当前架构在处理特定网络安全领域的迁移学习任务上存在显著瓶颈。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。