端到端运维modelarts standard推理服务方案-九游平台

方案概述

推理服务的端到端运维流程

• 算法开发阶段，先将业务ai数据存放到对象存储服务（obs）中，接着通过modelarts数据管理进行标注和版本管理，然后通过训练获得ai模型结果，最后通过开发环境构建模型镜像。
• 服务运维阶段，先利用镜像构建模型，接着部署模型为在线服务，然后可在云监控服务（ces）中获得modelarts推理在线服务的监控数据，最后可配置告警规则实现实时告警通知。
• 业务运行阶段，先将业务系统对接在线服务请求，然后进行业务逻辑处理和监控设置。

图1 推理服务的端到端运维流程图

整个运维过程会对服务请求失败和资源占用过高的场景进行监控，当超过阈值时发送告警通知。

图2 监控告警流程图

方案优势

通过端到端的服务运维配置，可方便地查看业务运行高低峰情况，并能够实时感知在线服务的健康状态。

约束限制

端到端服务运维只支持在线服务，因为推理的批量服务和边缘服务无ces监控数据，不支持完整的端到端服务运维设置。

实施步骤

以出行场景的司乘安全算法为例，介绍使用modelarts进行流程化服务部署和更新、自动化服务运维和监控的实现步骤。

图3 司乘安全算法