部署为批量服务-九游平台

前提条件

• 数据已完成准备：已在modelarts中创建状态“正常”可用的ai应用。
• 准备好需要批量处理的数据，并上传至obs目录。
• 已在obs创建至少1个空的文件夹，用于存储输出的内容。

背景信息

• 用户最多可创建1000个批量服务。
• 根据ai应用定义的输入请求不同（json文本或文件），不同的ai应用输入，需要填写的参数不同。当ai应用输入为json文件时，则需要根据配置文件生成映射文件；如果ai应用输入为文件时，则不需要。
• 批量服务只支持使用公共资源池，暂不支持使用专属资源池。

操作步骤

1. 登录modelarts管理控制台，在左侧导航栏中选择“部署上线 > 批量服务”，默认进入“批量服务”列表。
2. 在批量服务列表中，单击左上角“部署”，进入“部署”页面。
3. 在部署页面，填写批量服务相关参数。
   1. 填写基本信息。基本信息包含“名称”、“描述”。其中“名称”默认生成。例如：service-bc0d，您也可以根据实际情况填写“名称”和“描述”信息等。
   2. 填写服务参数。包含资源池、ai应用配置等关键信息，详情请参见表1。

      表1 参数说明

      参数名称	说明
      “ai应用来源”	根据您的实际情况选择“我的ai应用”或者“我的订阅”。
      “选择ai应用及版本”	选择状态“正常”的ai应用及版本。
      “输入数据目录位置”	选择输入数据的obs路径，即您上传数据的obs目录。只能选择文件夹或“.manifest”文件。“.manifest”文件规范请参见manifest文件规范。 说明： 输入数据为图片时，建议单张图片小于12mb。 输入数据格式为csv时，建议不要包含中文。如需使用中文，请将文件编码格式设置为utf-8编码。您可以使用代码方式转换文件编码格式，也可以将csv文件用记事本方式打开，在另存为弹出的窗口页面设置编码格式。 输入数据格式为csv时，建议文件大小不超过12mb。 若单张图片/csv文件超过文件12mb，会提示报错，建议调整文件大小使其符合要求，或联系九游平台的技术支持人员调整文件大小限制。
      “请求路径”	批量服务中调用ai应用的接口url，表示服务的请求路径，此值来自ai应用配置文件中apis的url字段。
      “映射关系”	如果ai应用输入是json格式时，系统将根据此ai应用对应的配置文件自动生成映射关系。如果ai应用的输入是文件，则不需要映射关系。 自动生成的映射关系文件，填写每个参数对应到csv单行数据的字段索引，索引index从0开始计数。 映射关系生成规则：映射规则来源于模型配置文件“config.json”中输入参数（request）。当“type”定义为“string/number/integer/boolean”基本类型时，需要配置映射规则参数，即index参数。请参见映射关系示例了解其规则。 index必须是从0开始的正整数，当index设置不规则不符时，最终的请求将忽略此参数。配置映射规则后，其对应的csv数据必须以英文半角逗号分隔。
      “输出数据目录位置”	选择批量预测结果的保存位置，可以选择您创建的空文件夹。
      “计算节点规格”	系统将根据您的ai应用匹配提供可用的计算资源。请在下拉框中选择可用资源，如果资源标识为售罄，表示暂无此资源。 例如，模型来源于自动学习项目，则计算资源将自动关联自动学习规格供使用。
      “计算节点个数”	设置当前版本ai应用的实例个数。如果节点个数设置为1，表示后台的计算模式是单机模式；如果节点个数设置大于1，表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。
      “环境变量”	设置环境变量，注入环境变量到容器实例。为确保您的数据安全，在环境变量中，请勿输入敏感信息，如明文密码。
      “部署超时时间”	用于设置单个模型实例的超时时间，包括部署和启动时间。默认值为20分钟，输入值必须在3到120之间。
      “运行日志输出”	默认关闭，批量服务的运行日志仅存放在modelarts日志系统，在服务详情页的“日志”支持简单查询。 若开启此功能，批量服务的运行日志会输出存放到云日志服务lts。lts自动创建日志组和日志流，默认缓存7天内的运行日志。如需了解lts专业日志管理功能，请参见。 说明： “运行日志输出”开启后，不支持关闭。 lts服务提供的日志查询和日志存储功能涉及计费，详细请参见。 请勿打印无用的audio日志文件，这会导致系统日志卡死，无法正常显示日志，可能会出现“failed to load audio”的报错。

4. 完成参数填写后，根据界面提示完成批量服务的部署。部署服务一般需要运行一段时间，根据您选择的数据量和资源不同，部署时间将耗时几分钟到几十分钟不等。
   

   批量服务部署完成后，将立即启动，运行过程中将按照您选择的资源按需计费。

   您可以前往批量服务列表，查看批量服务的基本情况。在批量服务列表中，刚部署的服务“状态”为“部署中”，当批量服务的“状态”变为“运行完成”时，表示服务部署完成。

manifest文件规范

推理平台批量九游平台的服务支持使用manifest文件，manifest文件可用于描述数据的输入输出。

映射关系示例

如下示例展示了配置文件、映射规则、csv数据以及最终推理请求的关系。

假设，您的模型所用配置文件，其apis参数如下所示：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

[
{
"method":"post",
"url":"/",
"request":{
"content-type":"multipart/form-data",
"data":{
"type":"object",
"properties":{
"data":{
"type":"object",
"properties":{
"req_data":{
"type":"array",
"items":[
{
"type":"object",
"properties":{
"input_1":{
"type":"number"
},
"input_2":{
"type":"number"
},
"input_3":{
"type":"number"
},
"input_4":{
"type":"number"
}
}
}
]
}
}
}
}
}
}
}
]

此时，其对应的映射关系如下所示。modelarts管理控制台将从配置文件中自动解析映射关系，如果您调用modelarts api时，需要自行根据规则编写映射关系。

{
    "type": "object",
    "properties": {
        "data": {
            "type": "object",
            "properties": {
                "req_data": {
                    "type": "array",
                    "items": [
                        {
                            "type": "object",
                            "properties": {
                                "input_1": {
                                    "type": "number",
                                    "index": 0
                                },
                                "input_2": {
                                    "type": "number",
                                    "index": 1
                                },
                                "input_3": {
                                    "type": "number",
                                    "index": 2
                                },
                                "input_4": {
                                    "type": "number",
                                    "index": 3
                                }
                            }
                        }
                    ]
                }
            }
        }
    }
}

用户需要进行推理的数据，即csv数据，格式如下所示。数据必须以英文逗号隔开。

5.1,3.5,1.4,0.2
4.9,3.0,1.4,0.2
4.7,3.2,1.3,0.2

根据定义好的映射关系，最终推理请求样例如下所示，与在线服务使用的格式类似：

{
	"data": {
		"req_data": [{
			"input_1": 5.1,
			"input_2": 3.5,
			"input_3": 1.4,
			"input_4": 0.2
		}]
	}
}