跳转至

GPU 资源

按站点选择分区

分区 当前节点 GPU 形态 当前可申请节点数
gpu-full-rdma(默认,上海) gpu01–gpu07 每节点 8 × 完整 H20 1–7
gpu-mig-rdma(上海) gpu08 每节点 12 × 2g.24gb 与 8 × 3g.48gb 1
gpu-l20y-sz-full-rdma(深圳) szgpu01–szgpu04 每节点 8 × 完整 L20Y 1–4

上海和深圳的分区互不混用。深圳只提供整卡 L20Y,不提供 MIG;登录和快速作业见 深圳站点。表中节点数是配置规模,是否可调度以 sinfo 为准。

上海 H20 资源

上海八台计算节点使用相同的调度基础规格:每节点 192 CPU、1,958,400 MiB Slurm 内存和 9 TiB TmpDisk。用户可申请的本地临时盘仍以 --tmp 策略为准, 默认 100 GiB、单节点最高 8 TiB;不要把 TmpDisk 总量当作单个作业的默认容量。

节点 GPU 模式 调度 GPU 资源 本地盘布局 RDMA
gpu01–gpu07 Full gpu:h20:8 3 块作业 NVMe + 1 块缓存 NVMe 4 × RoCE 设备
gpu08 MIG h20_2g.24gb:12、h20_3g.48gb:8 3 块作业 NVMe + 1 块缓存 NVMe 4 × RoCE 设备

分区表达的是“站点 + GPU 模式 + RDMA fabric”调度域,不表达单节点或多节点。 因此单节点和多节点任务共用同一个名称:用 --nodes=1 申请单节点,用更大的 --nodes 申请多节点。原来的 gpu-full、gpu-mig 已退役,不应再写入新脚本。

gpu-full-rdma 是默认分区,但仍建议在脚本中显式写出 --partition,提高可读性和 可重复性。目前上海 Full 分区有七台节点,可以运行多节点任务;MIG 分区目前只有一台 节点,所以大于一台节点的 MIG 请求不会立即获得资源。以后符合相同 GPU 模式和 RDMA fabric 的节点完成管理员纳管后,会加入现有分区,不需要为单节点或多节点再 创建一套名称。

不同站点、不同 RDMA fabric 或无 RDMA 的节点不会被放入同一分区。这个边界防止调度器把不 互通的节点分配给同一多节点作业,但应用是否真正使用 RDMA 仍取决于通信库和运行 参数;NCCL 作业应从日志确认选择了 NET/IB,不能仅凭分区名判断。

MIG 资源:

资源名 显存规格 单节点当前配置量 请求示例
h20_2g.24gb 24 GiB 12 --gres=gpu:h20_2g.24gb:1
h20_3g.48gb 48 GiB 8 --gres=gpu:h20_3g.48gb:1

查询实时可用性

sinfo -o "%P %a %D %t %G"
scontrol show partition gpu-full-rdma
scontrol show partition gpu-mig-rdma
scontrol show partition gpu-l20y-sz-full-rdma
sinfo -h -N -o "%N %P %t %c %m %d %G"
scontrol show node NODE_NAME

节点可在受控维护后切换 Full/MIG,因此不要依赖固定节点编号。节点也可能因为维护或 健康检查处于 DRAIN、DOWN 等状态。上表是当前配置快照,实时成员、状态和 可调度数量以 Slurm 输出为准。

选择上海 Full 或 MIG

需求 建议
需要完整 H20、整卡显存或多卡训练 使用 gpu-full-rdma
单个任务只需要 24 GiB 或 48 GiB 显存 优先使用 gpu-mig-rdma
需要 OpenGL、Vulkan 或图形工作负载 使用 gpu-full-rdma;H20 MIG 实例不提供这些图形能力
跨节点 NCCL/RoCE 当前使用 gpu-full-rdma,并验证 NCCL 日志中的 NET/IB

请求示例

srun --account=project-example \
  --partition=gpu-full-rdma \
  --gres=gpu:h20:2 \
  --time=00:10:00 \
  nvidia-smi -L
srun --account=project-example \
  --partition=gpu-mig-rdma \
  --gres=gpu:h20_2g.24gb:1 \
  --time=00:10:00 \
  nvidia-smi -L
srun --account=project-example \
  --partition=gpu-mig-rdma \
  --gres=gpu:h20_3g.48gb:1 \
  --time=00:10:00 \
  nvidia-smi -L
srun --account=project-example \
  --partition=gpu-l20y-sz-full-rdma \
  --gres=gpu:l20y:1 \
  --time=00:10:00 \
  nvidia-smi -L

作业内的 CUDA_VISIBLE_DEVICES 和 nvidia-smi -L 应只显示分配给该作业的设备。 不要覆盖 CUDA_VISIBLE_DEVICES 来尝试访问其他 GPU。

合理申请

  • 单卡可以完成时不要申请整节点;上海显存需求较小时可考虑 MIG。
  • 同时声明 --cpus-per-task、--mem 和 --time,避免 GPU 等待数据或 CPU。
  • 多 GPU 程序要确认应用确实初始化了所有设备;“看得到”不代表“用到了”。
  • 用 sacct 检查退出状态,用应用自身的指标检查 GPU 利用率和训练吞吐。

多节点通信验收

多节点 GPU 可见、容器可启动和共享目录可读,只证明资源分配与基础环境可用。 如果任务依赖 NCCL/RoCE,应使用项目认可的版本化测试镜像,并确认 NCCL 日志 选择 NET/IB;NET/Socket 回退不属于可接受运行状态。分区负责限制节点范围, 不能代替应用层通信验收。