开发第一条workflow-九游平台

本章节提供了一个基于图像分类算法，构建包含训练单节点的workflow的样例。更多节点的构建参数请参考。

使用本地ide如pycharm开发工作流，您只需专注于本地代码开发即可。pycharm连接notebook操作请参见配置本地ide（pycharm toolkit连接）。

在本地ide的终端运行如下命令进行环境准备。python版本要求：3.7.x或以上版本。

rm modelarts*.whl
wget -n https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts-1.4.19-py2.py3-none-any.whl
wget -n https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts_workflow-1.0.2-py2.py3-none-any.whl
pip uninstall -y modelarts modelarts-workflow
pip install modelarts-1.4.19-py2.py3-none-any.whl
pip install modelarts_workflow-1.0.2-py2.py3-none-any.whl  

使用本地ide进行开发时，配置好pycharm环境后，在代码中还需要使用ak-sk认证模式，示例代码如下。

from modelarts.session import session
# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
# 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量huaweicloud_sdk_ak和huaweicloud_sdk_sk。
__ak = os.environ["huaweicloud_sdk_ak"]
__sk = os.environ["huaweicloud_sdk_sk"]
# 如果进行了加密还需要进行解密操作
session = session(access_key=__ak, secret_key=__sk, project_id='***', region_name='***')

下载modelarts sdk安装包和workflow sdk安装包时，建议您同时下载校验文件，校验安装包的完整性，避免由于安装包下载问题导致后续的业务问题。

1. 依次完成下载modelarts sdk安装包、校验文件和workflow sdk安装包、校验文件。
2. 将sdk包及对应的校验文件放在同一目录下，使用openssl工具进行完整性校验，workflow sdk校验示例如下：

   openssl cms -verify -binary -in modelarts_workflow-*.*.*-py2.py3-none-any.whl.cms  -inform der -content modelarts_workflow-*.*.*-py2.py3-none-any.whl  -noverify > ./test

   出现如下信息则表示校验通过。

   verification successful

此处以订阅算法举例，您也可以自己准备算法。

1. 从ai gallery订阅一个的算法进入ai gallery>资产集市>算法，搜索自动学习算法-图像分类。
   1. 单击算法右侧的“订阅”。
   2. 在弹出的窗口中，勾选“我已阅读并同意 《数据安全与隐私风险承担条款》 和 《华为云ai gallery服务协议》”后，单击“继续订阅”。
2. 订阅完成后，单击“前往控制台”，选择云服务区域为“华北-北京四”，单击“确定”后系统页面会自动跳转至“算法管理>我的订阅”。单击“产品名称”列的小圆点选中该算法，下方白色提示框会显示所选算法的基本信息和版本列表。

   

准备数据集

1. 进入，搜索。
2. 单击“下载”，选择云服务区域“华北-北京四”，单击“确定”进入下载详情页。
3. 填写如下参数：
   • 下载方式：modelarts数据集。
   • 目标区域：华北-北京四。
   • 数据类型：图片。
   • 数据集输出位置：用来存放输出的数据标注的相关信息，如版本发布生成的manifest文件等。单击图标选择obs桶下的空目录，且此目录不能与输入位置一致，也不能为输入位置的子目录。
   • 数据集输入位置：用来存放源数据集信息，例如本案例中从gallery下载的数据集。单击图标选择您的obs桶下的任意一处目录，但不能与输出位置为同一目录。
   • 名称：默认自动生成，也可自定义修改。
   • 描述：数据集信息描述。
4. 单击“确定”，跳转至“我的数据 > 我的下载”页签，等待下载完成（下载完成大概5分钟左右，请您耐心等待）。
   图2 我的下载
   
5. 下载完成后，登录modelarts管理控制台，在页面选择“资产管理>数据集”。
6. 选择上一步下载好的数据集，单击数据集名称进入数据集概览详情页面。
7. 在概览详情页，单击右上角发的“发布>发布新版本”，单击“确定”。

步骤三：编写workflow

本样例基于图像分类算法，构建包含训练单节点的workflow。

workflow编写时，使用到的其他workflow节点对象导入请参考。

确保步骤一：安装开发环境完成后，在modelarts的notebook环境中，通过jupyterlab输入如下示例代码。

from modelarts import workflow as wf
# 定义统一存储对象管理输出目录
output_storage = wf.data.outputstorage(name="output_storage", description="输出目录统一配置")
# 数据集对象
dataset = wf.data.datasetplaceholder(name="input_data")
# 创建训练作业
job_step = wf.steps.jobstep(
    name="training_job",
    title="图像分类训练",
    algorithm=wf.aigalleryalgorithm(
        subscription_id="***", # 图像分类算法的订阅id，自行前往算法管理页面进行查看，可选参数，此处以订阅算法举例
        item_version_id="1.0.1", # 订阅算法的版本号，该示例为1.0.1版本，可选参数，此处以订阅算法举例
parameters=[
                wf.algorithmparameters(name="task_type", value="image_classification_v2"),
                wf.algorithmparameters(name="model_name", value="resnet_v1_50"),
                wf.algorithmparameters(name="do_train", value="true"),
                wf.algorithmparameters(name="do_eval_along_train", value="true"),
                wf.algorithmparameters(name="variable_update", value="horovod"),
                wf.algorithmparameters(name="learning_rate_strategy", value="0.002"),
                wf.algorithmparameters(name="batch_size", value="64"),
                wf.algorithmparameters(name="eval_batch_size", value="64"),
                wf.algorithmparameters(name="evaluate_every_n_epochs", value="1.0"),
                wf.algorithmparameters(name="save_model_secs", value="60"),
                wf.algorithmparameters(name="save_summary_steps", value="10"),
                wf.algorithmparameters(name="log_every_n_steps", value="10"),
                wf.algorithmparameters(name="do_data_cleaning", value="true"),
                wf.algorithmparameters(name="use_fp16", value="true"),
                wf.algorithmparameters(name="xla_compile", value="true"),
                wf.algorithmparameters(name="data_format", value="nchw"),
                wf.algorithmparameters(name="best_model", value="true"),
                wf.algorithmparameters(name="jpeg_preprocess", value="true"),
                wf.algorithmparameters(name="do_model_analysis", value="true"),
                wf.algorithmparameters(name="wf_metric_log", value="true"),
            ]
    ),
    inputs=[wf.steps.jobinput(name="data_url", data=dataset)],
    outputs=[wf.steps.joboutput(name="train_url", obs_config=wf.data.obsoutputconfig(obs_path=output_storage.join("/train_output/")))],
    spec=wf.steps.jobspec(
        resource=wf.steps.jobresource(
            flavor=wf.placeholder(
                name="training_flavor",
                placeholder_type=wf.placeholdertype.json,
                description="训练资源规格"
            )
        )
    )
)
# 构建工作流对象
workflow = wf.workflow(
    name="image-classification-resnest",
    desc="this is a image classification workflow",
    steps=[job_step],
    storages=[output_storage]
)
# 工作流默认创建在default工作空间下，可以通过以下方式指定工作流归属的空间
# workflow = wf.workflow(
#     name="image-classification-resnest",
#     desc="this is a image classification workflow",
#     steps=[job_step],
#     storages=[output_storage],
#     workspace=wf.resource.workspace(workspace_id="***")
# )
# 其中workspace_id可前往modelarts的工作空间服务中进行查看

上述代码示例在云上notebook环境中可直接调试运行。

如果需要在本地ide中使用，则需要补充相关的session鉴权内容，在本地ide中运行，代码示例修改如下：

from modelarts import workflow as wf
from modelarts.session import session
# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
# 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量huaweicloud_sdk_ak和huaweicloud_sdk_sk。
__ak = os.environ["huaweicloud_sdk_ak"]
__sk = os.environ["huaweicloud_sdk_sk"]
# 如果进行了加密还需要进行解密操作
session = session(access_key=__ak, secret_key=__sk, project_id='***', region_name='***') # 根据账号的相关信息进行修改
# 定义统一存储对象管理输出目录
output_storage = wf.data.outputstorage(name="output_storage", description="输出目录统一配置")
# 数据集对象
dataset = wf.data.datasetplaceholder(name="input_data")
# 创建训练作业
job_step = wf.steps.jobstep(
    name="training_job",
    title="图像分类训练",
    algorithm=wf.aigalleryalgorithm(
        subscription_id="***", # 图像分类算法的订阅id，自行前往算法管理页面进行查看
        item_version_id="10.1.0", # 订阅算法的版本号，该示例为10.1.0版本
parameters=[
                wf.algorithmparameters(name="task_type", value="image_classification_v2"),
                wf.algorithmparameters(name="model_name", value="resnet_v1_50"),
                wf.algorithmparameters(name="do_train", value="true"),
                wf.algorithmparameters(name="do_eval_along_train", value="true"),
                wf.algorithmparameters(name="variable_update", value="horovod"),
                wf.algorithmparameters(name="learning_rate_strategy", value="0.002"),
                wf.algorithmparameters(name="batch_size", value="64"),
                wf.algorithmparameters(name="eval_batch_size", value="64"),
                wf.algorithmparameters(name="evaluate_every_n_epochs", value="1.0"),
                wf.algorithmparameters(name="save_model_secs", value="60"),
                wf.algorithmparameters(name="save_summary_steps", value="10"),
                wf.algorithmparameters(name="log_every_n_steps", value="10"),
                wf.algorithmparameters(name="do_data_cleaning", value="true"),
                wf.algorithmparameters(name="use_fp16", value="true"),
                wf.algorithmparameters(name="xla_compile", value="true"),
                wf.algorithmparameters(name="data_format", value="nchw"),
                wf.algorithmparameters(name="best_model", value="true"),
                wf.algorithmparameters(name="jpeg_preprocess", value="true"),
                wf.algorithmparameters(name="do_model_analysis", value="true"),
                wf.algorithmparameters(name="wf_metric_log", value="true"),
            ]
    ),
    inputs=[wf.steps.jobinput(name="data_url", data=dataset)],
    outputs=[wf.steps.joboutput(name="train_url", obs_config=wf.data.obsoutputconfig(obs_path=output_storage.join("/train_output/")))],
    spec=wf.steps.jobspec(
        resource=wf.steps.jobresource(
            flavor=wf.placeholder(
                name="training_flavor",
                placeholder_type=wf.placeholdertype.json,
                description="训练资源规格"
            )
        )
    )
)
# 构建工作流对象
workflow = wf.workflow(
    name="image-classification-resnest",
    desc="this is a image classification workflow",
    steps=[job_step],
    session=session, # 补充鉴权对象
    storages=[output_storage]
)
# 工作流默认创建在default工作空间下，可以通过以下方式指定工作流归属的空间
# workflow = wf.workflow(
#     name="image-classification-resnest",
#     desc="this is a image classification workflow",
#     steps=[job_step],
#     session=session, # 补充鉴权对象
#     storages=[output_storage],
#     workspace=wf.resource.workspace(workspace_id="***")
# )
# 其中workspace_id可前往modelarts页面的工作空间服务中进行查看

步骤四：发布workflow至运行态

发布workflow至运行态完成后需要进行配置，详细参考2。更多发布方式请参考。

1. workflow开发完成后，执行如下代码发布workflow至运行态。日志打印显示发布成功，则可前往modelarts的workflow页面中查看新发布的工作流。

   workflow.release()

   图3 发布成功
   
2. 前往modelarts控制台去查看新发布的workflow，进入workflow详情，单击“配置”进行参数配置。工作流相关的配置执行操作可参考如何使用workflow。
   图4 发布工作流
   

1. 在modelarts管理控制台，左侧导航栏单击“开发空间 > notebook”。
2. 在notebook列表中，单击操作列的“删除”，在弹出的确认对话框中，确认信息无误，然后单击“确定”，完成删除操作。

删除obs桶

1. 在控制台左侧导航栏的服务列表，选择“对象存储服务obs”，进入obs服务详情页面。
2. 在左侧导航栏选择“桶列表”，在列表详情，找到自己创建的obs桶，进入obs桶详情。
3. 在桶的详情页，左侧导航栏选择“对象”，在右侧“名称”列选中不需要的存储对象，单击上方的“删除”或者在操作列单击“更多”，选择“删除”，即可删除相应的存储对象。