部署为在线服务-九游平台

约束与限制

单个用户最多可创建20个在线服务。

前提条件

• 数据已完成准备：已在modelarts中创建状态“正常”可用的ai应用。
• 由于在线运行需消耗资源，确保账户未欠费。

操作步骤

1. 登录modelarts管理控制台，在左侧导航栏中选择“部署上线 > 在线服务”，默认进入“在线服务”列表。
2. 在“在线服务”列表中，单击左上角“部署”，进入“部署”页面。
3. 在“部署”页面，填写在线服务相关参数。
   1. 填写基本信息，详细参数说明请参见表1。

      表1 基本信息参数说明

      参数名称	说明
      “名称”	在线服务的名称，请按照界面提示规则填写。
      “是否自动停止”	启用该参数并设置时间后，服务将在指定时间后自动停止。如果不启用此参数，在线服务将一直运行，同时一直收费，自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能，且默认值为“1小时后”。 目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自定义”。如果选择“自定义”的模式，可在右侧输入框中输入1~24范围内的任意整数。
      “描述”	在线服务的简要说明。

   2. 填写资源池和ai应用配置等关键信息，详情请参见表2。

      表2 参数说明

      参数名称	子参数	说明
      “资源池”	“公共资源池”	公共资源池有cpu或gpu两种规格，不同规格的资源池，其收费标准不同，详情请参见。当前仅支持按需付费模式。
      	“专属资源池”	在专属资源池规格中选择对应的规格进行使用。暂不支持选择创建了逻辑子池的物理池。 说明： 旧版“专属资源池”将逐渐迁移至新版“专属资源池”。 新用户和旧版“专属资源池”迁移完成的老用户在modelarts管理控制台只能看到新版的“专属资源池”。 旧版“专属资源池”未迁移的老用户，可以看到两个专属资源池，其中“专属资源池 new”为新版的专属资源池。 了解新版“专属资源池”请参见
      “选择ai应用及配置”	“ai应用来源”	根据您的实际情况选择“我的ai应用”或者“我的订阅”。
      	“选择ai应用及版本”	选择状态“正常”的ai应用及版本。
      	“分流”	设置当前实例节点的流量占比，服务调用请求根据该比例分配到当前版本上。 如您仅部署一个版本的ai应用，请设置为100%。如您添加多个版本进行灰度发布，多个版本分流之和设置为100%。
      	“计算节点规格”	请根据界面显示的列表，选择可用的规格，置灰的规格表示当前环境无法使用。 如果公共资源池下规格为空数据，表示当前环境无公共资源。建议使用专属资源池，或者联系系统管理员创建公共资源池。 说明： 使用所选规格部署服务时，会产生必要的系统消耗，因此服务实际占用的资源会略大于该规格。
      	“计算节点个数”	设置当前版本ai应用的实例个数。如果节点个数设置为1，表示后台的计算模式是单机模式；如果节点个数设置大于1，表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。
      	“环境变量”	设置环境变量，注入环境变量到容器实例。为确保您的数据安全，在环境变量中，请勿输入敏感信息，如明文密码。
      	“部署超时时间”	用于设置单个模型实例的超时时间，包括部署和启动时间。默认值为20分钟，输入值必须在3到120之间。
      	“添加ai应用版本进行灰度发布”	当选择的ai应用有多个版本时，您可以添加多个ai应用版本，并配置其分流占比，完成多版本和灵活流量策略的灰度发布，实现ai应用版本的平滑过渡升级。 说明： 当前免费计算规格不支持多版本灰度发布。
      	“存储挂载”	资源池为专属资源池时显示该参数。在服务运行时将存储卷以本地目录的方式挂载到计算节点（计算实例），模型或输入数据较大时建议使用。存储卷类型目前仅支持obs并行文件系统。 源地址：选择并行文件的存储路径。不支持选择跨区域（region）的obs并行文件系统。 挂载路径：指定容器内部的挂载路径，如“/obs-mount/”。 请选择全新目录，选择存量目录会覆盖存量文件，obs挂载仅开放对挂载目录文件新增、查看、修改功能不支持删除挂载目录文件对象，若需要删除文件请到obs并行文件系统中手动删除。 建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 挂载路径必须以/开头，仅允许输入英文、数字和特殊字符\_-且不超过1024个字符。 说明： 使用专属资源池部署服务才允许使用存储挂载的能力。
      “服务流量限制”	-	服务流量限制是指每秒内一个服务能够被访问的次数上限。您可以根据实际需求设置每秒流量限制。
      “升级为websocket”	-	设置在线服务是否部署为websocket服务。了解在线九游平台的服务支持websocket，请参考。 说明： 要求ai应用的元模型来源为从容器镜像中选择，并且镜像支持websocket。 设置“升级为websocket”后，不支持设置“服务流量限制”。 “升级为websocket”参数配置，不支持修改。
      “运行日志输出”	-	默认关闭，在线服务的运行日志仅存放在modelarts日志系统，在服务详情页的“日志”支持简单查询。 若开启此功能，在线服务的运行日志会输出存放到云日志服务lts。lts自动创建日志组和日志流，默认缓存7天内的运行日志。如需了解lts专业日志管理功能，请参见。 说明： “运行日志输出”开启后，不支持关闭。 lts服务提供的日志查询和日志存储功能涉及计费，详细请参见。 请勿打印无用的audio日志文件，这会导致系统日志卡死，无法正常显示日志，可能会出现“failed to load audio”的报错。
      “支持app认证”	“app授权配置”	默认关闭。如需开启此功能，请参见了解详情并根据实际情况进行设置。
      “订阅消息”	-	订阅消息使用消息通知服务，在事件列表中选择需要监控的服务状态，在事件发生时发送消息通知。

      图1 设置ai应用相关信息
      
   3. 可选：配置高级选项。

      表3 高级选项参数说明

      参数名称	说明
      “支持ipv6”	默认关闭。开启该功能后，待在线服务部署完成，服务预测地址中的域名在公网解析时可解析为ipv6地址。 须知： 仅支持部署时开启，开启后不支持修改。 仅北京四支持该功能。
      “标签”	modelarts支持对接标签管理服务tms，在modelarts中创建资源消耗性任务（例如：创建notebook、训练作业、推理在线服务）时，可以为这些任务配置标签，通过标签实现资源的多维分组管理。 标签详细用法请参见。 说明： 可以在标签输入框下拉选择tms预定义标签，也可以自己输入自定义标签。预定义标签对所有支持标签功能的服务资源可见。租户自定义标签只对自己服务可见。

4. 确认填写信息无误后，根据界面提示完成在线服务的部署。部署服务一般需要运行一段时间，根据您选择的数据量和资源不同，部署时间将耗时几分钟到几十分钟不等。
   

   在线服务部署完成后，将立即启动。服务为“运行中”，“告警”状态下正常运行实例正在产生费用，不使用时，请及时停止。

   您可以前往在线服务列表，查看在线服务的基本情况。在线服务列表中，刚部署的服务“状态”为“部署中”，当在线服务的“状态”变为“运行中”时，表示服务部署完成。