在modelarts standard运行gpu训练作业的准备工作-九游平台

购买服务资源

配置权限

1. 配置iam权限。
   1. 使用华为云主账号创建一个开发者用户组user_group，将开发者账号加入用户组user_group中。具体操作请参见step1 创建用户组并加入用户。
   2. 创建自定义策略。
      1. 使用华为云主账号登录控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入iam服务。
      2. 在统一身份认证服务控制台的左侧菜单栏中，选择“权限管理> 权限”。单击右上角“创建自定义策略”，“策略名称”为“policy1”或“policy2”，策略配置方式选择json视图，输入策略内容，单击“确定”。
         

         创建自定义策略时，建议将项目级云服务和全局级云服务拆分为两条策略，便于授权时设置最小授权范围。了解更多。

         • 项目级云服务的自定义策略“policy1”的具体内容如下，可以直接复制粘贴。

           {
               "version": "1.1",
               "statement": [
                   {
                       "action": [
                           "modelarts:*:*"
                       ],
                       "effect": "allow"
                   },
                   {
                       "action": [
                           "modelarts:pool:create",
                           "modelarts:pool:update",
                           "modelarts:pool:delete"
                       ],
                       "effect": "deny"
                   },
                   {
                       "action": [
                           "sfsturbo:*:*",
                           "vpc:*:*",
                           "dss:*:get",
                           "dss:*:list"
                       ],
                       "effect": "allow"
                   },
                   {
                       "action": [
                           "ecs:*:*",
                           "evs:*:get",
                           "evs:*:list",
                           "evs:volumes:create",
                           "evs:volumes:delete",
                           "evs:volumes:attach",
                           "evs:volumes:detach",
                           "evs:volumes:manage",
                           "evs:volumes:update",
                           "evs:volumes:use",
                           "evs:volumes:uploadimage",
                           "evs:snapshots:create",
                           "vpc:*:get",
                           "vpc:*:list",
                           "vpc:networks:create",
                           "vpc:networks:update",
                           "vpc:subnets:update",
                           "vpc:subnets:create",
                           "vpc:ports:*",
                           "vpc:routers:get",
                           "vpc:routers:update",
                           "vpc:securitygroups:*",
                           "vpc:securitygrouprules:*",
                           "vpc:floatingips:*",
                           "vpc:publicips:*",
                           "ims:images:create",
                           "ims:images:delete",
                           "ims:images:get",
                           "ims:images:list",
                           "ims:images:update",
                           "ims:images:upload"
                       ],
                       "effect": "allow"
                   },
                   {
                       "action": [
                           "vpc:*:*",
                           "ecs:*:get*",
                           "ecs:*:list*"
                       ],
                       "effect": "allow"
                   },
                   {
                       "action": [
                           "kms:cmk:*",
                           "kms:dek:*",
                           "kms:grant:*",
                           "kms:cmktag:*",
                           "kms:partition:*"
                       ],
                       "effect": "allow"
                   }
               ]
           }

         • 全局级云服务的自定义策略“policy2”的具体内容如下，可以直接复制粘贴。

           {
               "version": "1.1",
               "statement": [
                   {
                       "action": [
                           "obs:bucket:listallmybuckets",
                           "obs:bucket:headbucket",
                           "obs:bucket:listbucket",
                           "obs:bucket:getbucketlocation",
                           "obs:object:getobject",
                           "obs:object:getobjectversion",
                           "obs:object:putobject",
                           "obs:object:deleteobject",
                           "obs:object:deleteobjectversion",
                           "obs:object:listmultipartuploadparts",
                           "obs:object:abortmultipartupload",
                           "obs:object:getobjectacl",
                           "obs:object:getobjectversionacl"
                       ],
                       "effect": "allow"
                   }
               ]
           }

   3. 将自定义策略授权给开发者用户组user_group。
      1. 在统一身份认证服务控制台的左侧菜单栏中，选择“用户组”。在用户组页面单击对应用户组名称user_group操作列的“授权”，勾选策略“policy1”、“policy2”、“swr admin”。单击“下一步”。
         

         swr的权限有swr fullaccess、swr operateaccess、swr readonlyaccess。但swr fullaccess、swr operateaccess、swr readonlyaccess仅限容器镜像服务企业版使用，目前企业版已暂停公测。非企业版用户暂不支持使用此权限。因此需要在此勾选“swr admin” 策略。

      2. 设置最小授权范围，选择授权范围方案为“所有资源”，单击“确定”。

   更多权限管理的信息请参见modelarts权限管理基本概念。

2. 配置modelarts委托权限。
   给用户配置modelarts委托授权，允许modelarts服务在运行时访问obs等依赖服务。

   1. 使用华为云账号登录，在左侧导航栏单击“权限管理”，进入“权限管理”页面，单击“添加授权”。
   2. 在弹出的“添加授权”窗口中，选择：
      • 授权对象类型：所有用户
      • 委托选择：新增委托
      • 权限配置：普通用户
      选择完成后勾选“我已经详细阅读并同意《modelarts服务声明》”，然后单击“创建”。

      图1 配置委托访问授权
      
   3. 完成配置后，在modelarts控制台的权限管理列表，可查看到此账号的委托配置信息。
      图2 查看委托配置信息
      
3. 配置swr组织权限。

   iam用户创建后，需要管理员在组织中为用户添加授权，使iam用户对组织内所有镜像享有读取/编辑/管理的权限。

   只有具备“管理”权限的账号和iam用户才能添加授权。

   1. 登录容器镜像服务控制台。
   2. 在左侧菜单栏选择“组织管理”，单击组织名称。
   3. 在“用户”页签下单击“添加授权”，在弹出的窗口中为iam用户选择权限，然后单击“确定”。

   swr授权管理详情可参考授权管理。

   

   如果给子账号的swr授权不是swr admin权限，则需要继续配置swr组织权限。

4. 测试用户权限。

   由于权限配置需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。

   1. 使用用户组02中任意一个子账号登录modelarts管理控制台。在登录页面，请使用“iam用户登录”方式进行登录。

      首次登录会提示修改密码，请根据界面提示进行修改。

   2. 验证modelarts权限。
      1. 在左上角的服务列表中，选择modelarts服务，进入modelarts管理控制台。
      2. 在modelarts管理控制台，可正常创建notebook、训练作业、注册镜像。
   3. 验证sfs权限。
      1. 在左上角的服务列表中，选择sfs服务，进入sfs管理控制台。
      2. 在sfs管理控制台的sfs turbo中单击右上角的“创建文件系统”，如果能正常打开页面，表示当前用户具备sfs的操作权限。
   4. 验证ecs权限。
      1. 在左上角的服务列表中，选择ecs服务，进入ecs管理控制台。
      2. 在ecs管理控制台，单击右上角的“购买弹性云服务器”，如果能正常打开页面，表示当前用户具备ecs的操作权限。
   5. 验证vpc权限。
      1. 在左上角的服务列表中，选择vpc服务，进入vpc管理控制台。
      2. 在vpc管理控制台，单击右上角的“创建虚拟私有云”，如果能正常打开页面，表示当前用户具备vpc的操作权限。
   6. 验证dew权限。
      1. 在左上角的服务列表中，选择dew服务，进入dew管理控制台。
      2. 在dew管理控制台，选择“密钥对管理 > 私有密钥对”，单击“创建密钥对”，如果能正常打开页面，表示当前用户具备dew的操作权限。
   7. 验证obs权限。
      1. 在左上角的服务列表中，选择obs服务，进入obs管理控制台。
      2. 在obs管理控制台，单击右上角的“创建桶”，如果能正常打开页面，表示当前用户具备obs的操作权限。
   8. 验证swr权限。
      1. 在左上角的服务列表中，选择swr服务，进入swr管理控制台。
      2. 在swr管理控制台，如果能正常打开页面，表示当前用户具备swr的操作权限。
      3. 单击右上角的“上传镜像”，如果能看到授权的组织，表示当前用户具备swr组织权限。

创建专属资源池

modelarts提供独享的计算资源，可用于notebook、训练作业、部署模型。专属资源池不与其他用户共享，更加高效。在使用专属资源池之前，您需要先创建一个专属资源池，操作指导请参考创建standard专属资源池。

• 配置“网络”时需要选择已打通vpc的网络。如果需要新建网络和打通vpc可以参考配置standard专属资源池可访问公网。
• “规格类型”和“节点数量”根据训练计划使用的资源选择。

在ecs服务器挂载sfs turbo存储

在ecs服务器挂载sfs turbo存储后，支持将训练所需的数据通过ecs上传至sfs turbo。

1. 检查云服务环境。
   • ecs服务器和sfs的共享硬盘在相同的vpc或者对应vpc能够互联。
   • ecs服务器基础镜像用的是ubuntu 18.04。
   • ecs服务器和sfs turbo在同一子网中。
2. 在ecs服务器中设置华为云镜像源。

   sudo sed -i "s@http://.*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list
   sudo sed -i "s@http://.*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list

3. 安装nfs客户端，挂载对应盘。

   sudo apt-get update
   sudo apt-get install nfs-common

4. 获取sfs turbo的挂载命令。
   1. 进入弹性文件服务sfs管理控制台。
   2. 选择“sfs turbo”进入文件系统列表，单击文件系统名称，进入详情页面。
   3. 在“基本信息”页签获取并记录“linux挂载命令”。
5. 在ecs服务器中挂载nfs存储。

   确认对应目录存在后，输入对应指令，命令如下。

   mkdir -p /mnt/sfs_turbo
   mount -t nfs -o vers=3,nolock 192.168.0.169:/ /mnt/sfs_turbo

在ecs中设置modelarts用户可读权限

在modelarts训练平台使用自定义镜像时，默认用户为ma-user、默认用户组为ma-group。如果在训练时调用ecs中的文件，需要修改文件权限改为ma-user可读，否则会出现permission denied错误。

1. 在terminal中执行以下命令，在ecs中提前创建好ma-user和ma-group。

   default_user=$(getent passwd 1000 | awk -f ':' '{print $1}') || echo "uid: 1000 does not exist" && \
   default_group=$(getent group 100 | awk -f ':' '{print $1}') || echo "gid: 100 does not exist" && \
   if [ ! -z ${default_group} ] && [ ${default_group} != "ma-group" ]; then \
       groupdel -f ${default_group}; \
       groupadd -g 100 ma-group; \
   fi && \
   if [ -z ${default_group} ]; then \
       groupadd -g 100 ma-group; \
   fi && \
   if [ ! -z ${default_user} ] && [ ${default_user} != "ma-user" ]; then \
       userdel -r ${default_user}; \
       useradd -d /home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user; \
       chmod -r 750 /home/ma-user; \
   fi && \
   if [ -z ${default_user} ]; then \
       useradd -d /home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user; \
       chmod -r 750 /home/ma-user; \
   fi && \
   # set bash as default
   rm /bin/sh && ln -s /bin/bash /bin/sh

2. 执行以下命令，查看创建的用户信息。

   id ma-user

   如果出现以下信息则表示创建成功。

   uid=1000(ma-user) gid=100(ma-group) groups=100(ma-group)

安装和配置obs命令行工具

obsutil是用于访问、管理对象存储服务obs的命令行工具，使用该工具可以对obs进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。

obsutil安装和配置的具体操作指导请参见obsutils快速入门。

操作命令中的ak/sk和endpoint要替换为用户实际获取的ak/sk和endpoint。

（可选）工作空间配置

modelarts支持设置子账号的细粒度权限、不同工作空间之间资源隔离。modelarts工作空间帮您实现项目资源隔离、多项目分开结算等功能。

如果您开通了企业项目管理服务的权限，可以在创建工作空间的时候绑定企业项目id，并在企业项目下添加用户组，为不同的用户组设置细粒度权限供组里的用户使用。

如果您未开通企业项目管理服务的权限，也可以在modelarts创建自己独立的工作空间，但是无法使用跟企业项目相关的功能。

工作空间为白名单功能，使用该功能需要提工单申请开通。