modelarts standard推理服务访问公网方案-九游平台

应用场景

推理服务访问公网地址的场景，如：

• 输入图片，先进行公网ocr服务调用，然后进行nlp处理；
• 进行公网文件下载，然后进行分析；
• 分析结果回调给公网服务终端。

方案设计

从推理服务的算法实例内部，访问公网服务地址的方案。如下图所示：

图1 推理服务访问公网

步骤一：modelarts专属资源池打通vpc

1. 创建好vpc和子网，具体步骤请参考创建虚拟私有云和子网。
2. 创建modelarts专属资源池网络。
   1. 登录modelarts管理控制台，在左侧导航栏中选择“ai专属资源池 > 弹性集群cluster”，默认进入“standard资源池”页面。
   2. 切换到“网络”页签，单击“创建”，弹出“创建网络”页面。
   3. 在“创建网络”弹窗中填写网络信息。
   4. 确认无误后，单击“确定”。
3. modelarts专属资源池网络打通vpc。
   1. 在控制台左侧导航栏中选择“ai专属资源池 > 弹性集群cluster”。
   2. 切换到“网络”页签，选择上一步骤创建的网络，单击操作列的“打通vpc”。
      图2 打通vpc
      
   3. 在打通vpc弹框中，打开“打通vpc”开关，在下拉框中选择提前创建好的vpc和子网。
      

      需要打通的对端网络不能和当前网段重叠。

4. 创建modelarts专属资源池。
   1. 在控制台左侧导航栏中选择“ai专属资源池 > 弹性集群cluster”。
   2. 在“standard资源池”页签，单击“购买ai专属集群创建专属资源池”，进入购买ai专属集群创建专属资源池界面填写参数。

      “作业类型”包括推理服务。“网络”选择上文中已打通vpc的网络。

      图3 作业类型
      

      

   3. 单击“立即购买”确认规格。产品规格和协议许可确认无误后，单击“提交”，即可创建专属资源池。

步骤二：使用docker安装和配置正向代理

1. 购买弹性云服务器ecs，详情请见购买ecs。镜像可选择ubuntu最新版本。虚拟私有云选择提前创建好的vpc。
2. 申请弹性公网ip eip，详情请见申请弹性公网ip。
3. 将弹性公网ip绑定到ecs，详情请见。
4. 登录ecs，执行如下命令进行docker安装。如已安装，请直接进入下一步。

   curl -ssl https://get.daocloud.io/docker | sh

5. 执行如下命令安装squid容器。

   docker pull ubuntu/squid

6. 创建主机目录。

   mkdir –p /etc/squid/

7. 打开并配置whitelist.conf文件。

   vim whitelist.conf

   配置内容为安全控制可访问的地址，支持配置通配符，例如：

   .apig.cn-east-3.huaweicloudapis.com

   

   如果地址访问不通，请在浏览器配置访问域名。

8. 打开并配置squid.conf文件。

   vim squid.conf

   配置内容如下。

   # an acl named 'whitelist'
   acl whitelist dstdomain '/etc/squid/whitelist.conf'
    
   # allow whitelisted urls through
   http_access allow whitelist
    
   # block the rest
   http_access deny all
    
   # default port
   http_port 3128

9. 设置主机目录和配置文件权限如下。

   chmod 640 -r /etc/squid

10. 执行如下命令启动squid实例。

    docker run -d --name squid -e tz=utc -v /etc/squid:/etc/squid -p 3128:3128 ubuntu/squid:latest

11. 进入docker刷新squid。

    docker exec –it squid bash
    root@{container_id}:/# squid -k reconfigure

步骤三：设置dns代理和调用公网地址

1. 在自定义模型镜像时设置代理指向代理服务器私有ip和端口，如下所示。

   proxies = {
     "http": "http://{proxy_server_private_ip}:3128",
     "https": "http://{proxy_server_private_ip}:3128"
   }

   代理服务器ip即步骤二：使用docker安装和配置正向代理中创建的ecs私有ip，获取方式请见查看弹性云服务器详细信息。

   图4 ecs私有ip
   
2. 调用公网地址时，使用服务url进行业务请求，如：

   https://e8a048ce25136addbbac23ce6132a.apig.cn-east-3.huaweicloudapis.com