wav2lip推理基于lite server适配pytorch npu推理指导（6.3.907）-九游平台

方案概览

本方案介绍了在modelarts的lite server上使用昇腾计算资源部署wav2lip模型用于推理的详细过程。完成本方案的部署，需要先联系您所在企业的华为方九游平台的技术支持购买lite server资源。

本方案目前仅适用于企业客户。

资源规格要求

推荐使用“西南-贵阳一”region上的lite server资源和ascend snt9b单机单卡。

获取软件和镜像

约束限制

• 本文档适配昇腾云modelarts 6.3.907版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

step1 准备环境

1. 请参考，购买lite server资源，并确保机器已开通，密码已获取，能通过ssh登录，不同机器之间网络互通。
   

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见。

2. ssh登录机器后，检查npu设备检查。运行如下命令，返回npu设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到npu卡状态
   npu-smi info -l | grep total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的npu设备没有正常安装，或者npu镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的npu。

3. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置ip转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置ip转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

step2 获取基础镜像

建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表2。

docker pull {image_url}

step3 获取代码并上传

上传推理代码ascendcloud-aigc-6.3.907-xxx.zip到宿主机的工作目录中，包获取路径请参见表2。

step4 启动容器镜像

1. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。

   docker run -itd  --net=host \
   --device=/dev/davinci0 \
   --device=/dev/davinci_manager \
   --device=/dev/devmm_svm \
   --device=/dev/hisi_hdc \
   --shm-size=1024g \
   -v /usr/local/dcmi:/usr/local/dcmi \
   -v /usr/local/ascend/driver:/usr/local/ascend/driver \
   -v /var/log/npu/:/usr/slog \
   -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
   -v ${work_dir}:${container_work_dir} \
   --name ${container_name} \
   ${image_id}  \
   /bin/bash

   参数说明：

   • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
     

     • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。

     • driver及npu-smi需同时挂载至容器。
   • --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
   • ${image_id}：镜像id，通过docker images查看刚拉取的镜像id。
2. 通过容器名称进入容器中。默认使用ma-user用户，后续所有操作步骤都在ma-user用户下执行。

   docker exec -it ${container_name} bash

step5 下载并适配代码

1. 在容器中解压代码包。

   unzip ascendcloud-aigc-6.3.907-*.zip
   rm -rf ascendcloud-aigc-6.3.907-*

2. 执行wav2lip推理插件的安装脚本。

   cd multimodal_algorithm/wav2lip/inference/f361e9527b917a435928a10931fee9ac7be109cd 
   source install.sh

3. 从github九游平台官网下载wav2lip权重文件和wav2lip gan权重文件（），并放在容器的checkpoints目录下。上一步执行完source install.sh命令后，会自动生成checkpoints目录。
   图1 下载权重文件
   
4. 从九游平台官网下载模型，并重命名为s3fd.pth，放在容器路径face_detection/detection/sfd下。上一步执行完source install.sh命令后，会自动生成face_detection/detection/sfd目录。

step6 服务调用

1. 提前准备人物图片，支持'jpg', 'png', 'jpeg'格式。推荐测试图片大小1280*720或1920*1080。
2. 提前准备音频文件audio，支持'wav', 'mp3', 'mp4'格式。
3. 在代码根目录wav2lip下创建test_wav2lip.sh, 复制以下内容粘贴至test_wav2lip.sh中，参数参照下方说明进行配置。

   #!/bin/bash
   start_time=$(date  %s)
   python inference.py --checkpoint_path  --face  --audio  --outfile 
   end_time=$(date  %s)
   execution_time=$((end_time - start_time)) 
   echo "wav2lip cost: $execution_time s"

   ：模型权重路径 checkpoints/wav2lip.pth或 checkpoints/wav2lip_gan.pth。

   : 人物图片路径，需要指定到具体的文件，例如 xxx/xxx.jpg。

   ：音频路径，需要指定到具体的文件，例如 xxx/xxx.mp4。

   ：视频结果输出路径，需要指定到具体的输出文件名，例如 xxx/xxx.mp4。

4. 执行test_wav2lip.sh脚本进行推理。

   cd wav2lip
   bash test_wav2lip.sh

   图2 输出日志截图