对象存储 OSS¶
登录到作业所在的站点,再使用该站点的 Bucket。上海和深圳的对象不会自动同步。
| 站点 | Bucket | 挂载目录 |
|---|---|---|
| 上海 | stellaredgeai |
/oss/stellaredgeai |
| 深圳 | stellaredge-sz |
/oss/stellaredge-sz |
以下命令先选择当前站点的 Bucket,再执行后续操作:
浏览和传输¶
检查挂载并浏览对象:
大文件或大量文件的上传下载优先使用已安装的 ossutil。把 PREFIX 换成管理员
分配给你的目录前缀,不要覆盖其他项目的对象:
OSS_CONFIG=/etc/cluster-object-storage/ossutil.ini
PREFIX='请替换为你的目录前缀/'
ossutil --ignore-env-var -c "$OSS_CONFIG" ls "oss://$BUCKET/$PREFIX"
ossutil --ignore-env-var -c "$OSS_CONFIG" \
cp ./result.txt "oss://$BUCKET/$PREFIX/result.txt"
ossutil --ignore-env-var -c "$OSS_CONFIG" \
cp "oss://$BUCKET/$PREFIX/dataset.tar" ./dataset.tar
在作业脚本里也应显式设置该站点的 BUCKET。先把输入复制到
$LOCAL_SCRATCH,完成计算后把重要结果上传到 OSS 或复制到本站点的
/project。OSS 不是完整的 Linux 文件系统,不适合高频随机读写、文件锁或
多个作业同时修改同一对象。
不要查看、复制或提交集群的 ossutil 配置文件,也不要在脚本里写 AccessKey。
深圳节点通过 ECS 角色 ClusterCompute 访问 OSS;实际可操作范围仍以管理员
授予的 Bucket/前缀权限为准。除非完全确认范围,否则不要执行 rm -r、
sync --delete 或覆盖已有对象。
OSS 使用站点内网 Endpoint,不需要设置出口代理。如果访问被拒绝, 请提供站点、Bucket、前缀和错误信息给管理员,不要发送凭据。