GPU 资源¶
按站点选择分区¶
| 分区 | 当前节点 | GPU 形态 | 当前可申请节点数 |
|---|---|---|---|
gpu-full-rdma(默认,上海) |
gpu01–gpu07 |
每节点 8 × 完整 H20 | 1–7 |
gpu-mig-rdma(上海) |
gpu08 |
每节点 12 × 2g.24gb 与 8 × 3g.48gb |
1 |
gpu-l20y-sz-full-rdma(深圳) |
szgpu01–szgpu04 |
每节点 8 × 完整 L20Y | 1–4 |
上海和深圳的分区互不混用。深圳只提供整卡 L20Y,不提供 MIG;登录和快速作业见
深圳站点。表中节点数是配置规模,是否可调度以 sinfo 为准。
上海 H20 资源¶
上海八台计算节点使用相同的调度基础规格:每节点 192 CPU、1,958,400 MiB
Slurm 内存和 9 TiB TmpDisk。用户可申请的本地临时盘仍以 --tmp 策略为准,
默认 100 GiB、单节点最高 8 TiB;不要把 TmpDisk 总量当作单个作业的默认容量。
| 节点 | GPU 模式 | 调度 GPU 资源 | 本地盘布局 | RDMA |
|---|---|---|---|---|
gpu01–gpu07 |
Full | gpu:h20:8 |
3 块作业 NVMe + 1 块缓存 NVMe | 4 × RoCE 设备 |
gpu08 |
MIG | h20_2g.24gb:12、h20_3g.48gb:8 |
3 块作业 NVMe + 1 块缓存 NVMe | 4 × RoCE 设备 |
分区表达的是“站点 + GPU 模式 + RDMA fabric”调度域,不表达单节点或多节点。
因此单节点和多节点任务共用同一个名称:用 --nodes=1 申请单节点,用更大的
--nodes 申请多节点。原来的 gpu-full、gpu-mig 已退役,不应再写入新脚本。
gpu-full-rdma 是默认分区,但仍建议在脚本中显式写出 --partition,提高可读性和
可重复性。目前上海 Full 分区有七台节点,可以运行多节点任务;MIG 分区目前只有一台
节点,所以大于一台节点的 MIG 请求不会立即获得资源。以后符合相同 GPU 模式和
RDMA fabric 的节点完成管理员纳管后,会加入现有分区,不需要为单节点或多节点再
创建一套名称。
不同站点、不同 RDMA fabric 或无 RDMA 的节点不会被放入同一分区。这个边界防止调度器把不
互通的节点分配给同一多节点作业,但应用是否真正使用 RDMA 仍取决于通信库和运行
参数;NCCL 作业应从日志确认选择了 NET/IB,不能仅凭分区名判断。
MIG 资源:
| 资源名 | 显存规格 | 单节点当前配置量 | 请求示例 |
|---|---|---|---|
h20_2g.24gb |
24 GiB | 12 | --gres=gpu:h20_2g.24gb:1 |
h20_3g.48gb |
48 GiB | 8 | --gres=gpu:h20_3g.48gb:1 |
查询实时可用性¶
sinfo -o "%P %a %D %t %G"
scontrol show partition gpu-full-rdma
scontrol show partition gpu-mig-rdma
scontrol show partition gpu-l20y-sz-full-rdma
sinfo -h -N -o "%N %P %t %c %m %d %G"
scontrol show node NODE_NAME
节点可在受控维护后切换 Full/MIG,因此不要依赖固定节点编号。节点也可能因为维护或
健康检查处于 DRAIN、DOWN 等状态。上表是当前配置快照,实时成员、状态和
可调度数量以 Slurm 输出为准。
选择上海 Full 或 MIG¶
| 需求 | 建议 |
|---|---|
| 需要完整 H20、整卡显存或多卡训练 | 使用 gpu-full-rdma |
| 单个任务只需要 24 GiB 或 48 GiB 显存 | 优先使用 gpu-mig-rdma |
| 需要 OpenGL、Vulkan 或图形工作负载 | 使用 gpu-full-rdma;H20 MIG 实例不提供这些图形能力 |
| 跨节点 NCCL/RoCE | 当前使用 gpu-full-rdma,并验证 NCCL 日志中的 NET/IB |
请求示例¶
作业内的 CUDA_VISIBLE_DEVICES 和 nvidia-smi -L 应只显示分配给该作业的设备。
不要覆盖 CUDA_VISIBLE_DEVICES 来尝试访问其他 GPU。
合理申请¶
- 单卡可以完成时不要申请整节点;上海显存需求较小时可考虑 MIG。
- 同时声明
--cpus-per-task、--mem和--time,避免 GPU 等待数据或 CPU。 - 多 GPU 程序要确认应用确实初始化了所有设备;“看得到”不代表“用到了”。
- 用
sacct检查退出状态,用应用自身的指标检查 GPU 利用率和训练吞吐。
多节点通信验收
多节点 GPU 可见、容器可启动和共享目录可读,只证明资源分配与基础环境可用。
如果任务依赖 NCCL/RoCE,应使用项目认可的版本化测试镜像,并确认 NCCL 日志
选择 NET/IB;NET/Socket 回退不属于可接受运行状态。分区负责限制节点范围,
不能代替应用层通信验收。