arXiv · ML· Ruochen Wen, Hongyang Wang, Siwei Li, Wenbo Chen, Xian Li, Jingguo Liu, Leo Fan, Yiming Yan, Qian Qu, Zheshen Wang, Benoit Dumoulin·· 9 天前AI 评分23
Plumbline: 当损失函数失效时,正确验证 LLM 训练的方法
Plumbline: When the Loss Lies, Validating LLM Training Correctly
AI 导读
Amazon 生产环境采用的 Plumbline 系统用于 LLM 训练正确性验证,在 3 个框架和 5 个模型中发现 61 个问题,其中 32 个为静默故障。 该系统检查从数据到模型服务的全训练生命周期,支持新模型接入验证及故障根因追踪,42 个问题已修复或上报。 将 61 个问题归为 7 种故障模式,展示了训练流程中的关键薄弱环节。
来源:arXiv · ML · arxiv.org