arXiv · ML· Vasanth Iyer·· 3 小时前AI 评分33
双节点 NVIDIA DGX Spark 远程分布式 NanoChat 预训练与网络安全微调可行性测试
Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning
AI 导读
研究在两台 NVIDIA DGX Spark 上通过 Tailscale VPN 远程部署分布式 NanoChat 预训练，896.5M 参数模型处理 52.2 亿 token。 利用 200 Gb/s 光纤直连，4980 步训练耗时 4 天，平均 63.4 秒/步。 验证了桌面级加速器多节点训练可行性，但 CTI 微调在未见威胁情报泛化能力接近零。
来源：arXiv · ML · arxiv.org