跳转至

提交和管理作业

提交前先选站点:上海使用 H20 分区,深圳使用 L20Y 分区。两个站点共用 Slurm,但作业数据和节点网络不跨站点共享。

选择提交方式

命令 适合场景
sbatch script.sh 可复现的批处理、训练和长任务
srun ... command 短测试或作业内启动并行任务
salloc ... 需要连续运行多条命令的交互调试

生产任务优先使用 sbatch,把资源需求保存在脚本中。

批处理模板(上海 H20)

train.sh
#!/usr/bin/env bash
#SBATCH --job-name=train
#SBATCH --account=project-example
#SBATCH --partition=gpu-full-rdma
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=16
#SBATCH --mem=128G
#SBATCH --gres=gpu:h20:2
#SBATCH --tmp=200G
#SBATCH --time=04:00:00
#SBATCH --output=logs/%x-%j.out
#SBATCH --error=logs/%x-%j.err

set -euo pipefail

mkdir -p logs "$LOCAL_SCRATCH/dataset" "$LOCAL_SCRATCH/output"
cp -a /project/example/dataset/. "$LOCAL_SCRATCH/dataset/"

srun python train.py \
  --data "$LOCAL_SCRATCH/dataset" \
  --output "$LOCAL_SCRATCH/output"

mkdir -p /project/example/results/"$SLURM_JOB_ID"
cp -a "$LOCAL_SCRATCH/output/." \
  /project/example/results/"$SLURM_JOB_ID"/

先创建日志目录再提交:

mkdir -p logs
sbatch train.sh

Slurm 不创建输出目录

#SBATCH --output=logs/... 中的 logs/ 必须在提交前存在,否则作业可能无法写日志。

深圳 L20Y 模板

在深圳 login02 提交时,使用以下资源行替换上面脚本中的上海资源行,脚本其余 部分相同;/project/example 必须是深圳站点的项目目录:

#SBATCH --partition=gpu-l20y-sz-full-rdma
#SBATCH --gres=gpu:l20y:2

交互调试

以下为上海 H20 整卡示例,获得 shell 后运行测试:

salloc --account=project-example \
  --partition=gpu-full-rdma \
  --gres=gpu:h20:1 \
  --cpus-per-task=8 \
  --mem=64G \
  --time=00:30:00

srun --pty bash -l
nvidia-smi -L
exit
exit

深圳使用:

salloc --account=project-example \
  --partition=gpu-l20y-sz-full-rdma --gres=gpu:l20y:1 \
  --cpus-per-task=8 --mem=64G --time=00:30:00
srun --pty bash -l
nvidia-smi -L
exit
exit

不用时立即退出两层 shell,释放分配。

查看状态

squeue --me
squeue --me -o "%.18i %.12P %.28j %.10T %.10M %.10l %R"
scontrol show job JOB_ID
sacct -X -j JOB_ID --format=JobID,JobName,Partition,State,Elapsed,ExitCode,AllocTRES

常见状态:

状态 含义
PENDING 等待资源或策略条件,查看 Reason
RUNNING 正在运行
COMPLETING 正在执行收尾,短暂出现通常正常
COMPLETED 调度层完成,仍要检查 ExitCode 和应用日志
FAILED / OUT_OF_MEMORY / TIMEOUT 作业失败,需要调整程序或资源

取消和修改

scancel JOB_ID
scancel --name=train --user="$USER"

本地临时盘大小和保留字段不能在排队后修改;如需调整 --tmp,取消后重新提交。 不要使用范围过宽的取消命令,执行前先用 squeue --me 确认目标。

多节点作业

上海 gpu-full-rdma 配置七台 Full 节点,可按下面的方式申请两至七台。 gpu-mig-rdma 当前只有一台节点;分区本身没有人为设置单节点上限,但在更多同模式、 同 RDMA fabric 的节点纳管前,多节点 MIG 请求会保持排队。

sbatch \
  --account=project-example \
  --partition=gpu-full-rdma \
  --nodes=2 \
  --ntasks-per-node=1 \
  --gres=gpu:h20:8 \
  --time=00:30:00 \
  multi-node.sh

深圳多节点任务在 login02 提交,使用 --partition=gpu-l20y-sz-full-rdma --gres=gpu:l20y:8。深圳分区配置四台 节点;能否分配以 sinfo 为准。不要跨站点组合节点运行 NCCL/RDMA 作业。

/project 在节点间共享,但每个节点的 $LOCAL_SCRATCH 是独立目录。多节点程序必须 用 srun 启动任务,并显式设计数据分发、通信后端与结果汇总;成功分配多节点并不 等于 NCCL/RoCE 通信已经工作。分区只保证节点属于同一 RDMA 调度域,仍需从 NCCL 日志确认通信后端为 NET/IB。