mcore-run-on-slurm

如何在 SLURM 集群上启动分布式 Megatron-LM 训练任务。涵盖最小化的 sbatch 脚本框架、torch.distributed.run 所需的环境变量配置、不同硬件和并行模式下的 CUDA_DEVICE_MAX_CONNECTIONS 规则、容器使用规范、监控方法以及按 rank 诊断失败问题。

模型生成摘要（rules/v1 · 2026-11-05 02:28）：如何在 SLURM 集群上启动分布式 Megatron-LM 训练任务
这是模型对公开材料的总结，不是官方声明，请以原链内容为准。

存档时间线

版本	存档时间	内容哈希	内容
v1	2026-11-05 02:28	6a58a916	可取

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本

纠错与举报（发现条目失效、署名有误或涉及侵权？）

提交举报 / 纠错

侵权举报经核验成立后，我们会即时下线该条目并删除已存的内容副本。