九游平台/ ai开发平台modelarts/ 最佳实践/ / paraformer基于lite server适配pytorch npu推理指导（6.3.911）
更新时间：2025-02-19 gmt 08:00
查看pdf

paraformer基于lite server适配pytorch npu推理指导（6.3.911）-九游平台

方案概览

本方案介绍了在modelarts lite lite server上使用昇腾计算资源ascend snt9b开展paraformer的推理过程。

约束限制

  • 本方案目前仅适用于企业客户。
  • 本文档适配昇腾云modelarts 6.3.911版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
  • 确保容器可以访问公网。

资源规格要求

推荐使用“西南-贵阳一”region上的lite server资源和ascend snt9b。

获取软件和镜像

表1 获取软件和镜像

分类

名称

获取路径

插件代码包

ascendcloud-6.3.911软件包中的ascendcloud-cv-6.3.911-xxx.zip

文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。

获取路径：，登录后在此路径中查找下载modelarts 6.3.911 版本。

说明：

如果没有下载权限，请联系您所在企业的华为方九游平台的技术支持下载获取。

基础镜像包

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b

swr上拉取。
表2 资源规格要求

模型

版本

cann

cann_8.0.rc3

驱动

23.0.6

pytorch

2.1.0

步骤一：检查环境

  1. 请参考，购买lite server资源，并确保机器已开通，密码已获取，能通过ssh登录，不同机器之间网络互通。

    购买lite server资源时如果无可选资源规格，需要联系华为云九游平台的技术支持申请开通。

    当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见。

  2. ssh登录机器后，检查npu卡状态。运行如下命令，返回npu设备信息。 
    npu-smi info                    # 在每个实例节点上运行此命令可以看到npu卡状态
npu-smi info -l | grep total    # 在每个实例节点上运行此命令可以看到总卡数

    如出现错误，可能是机器上的npu设备没有正常安装，或者npu镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的npu。

  3. 检查是否安装docker。 
    docker -v   #检查docker是否安装

    如尚未安装，运行以下命令安装docker。

    yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
  4. 配置ip转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 
    sysctl -p | grep net.ipv4.ip_forward
    如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置ip转发。 
    sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward

步骤二：获取基础镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。

docker pull {image_url}

步骤三：启动容器镜像

启动容器镜像，启动前可以根据实际需要增加修改参数。

docker run -itd \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
--shm-size=32g \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/ascend/driver:/usr/local/ascend/driver \
-v /var/log/npu/:/usr/slog \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v ${work_dir}:${container_work_dir} \
--name ${container_name} \
${image_id}  \
/bin/bash
  • --device=/dev/davincix 挂载npu设备，示例中挂载了8张卡，可根据需要选择挂载卡数
  • work_dir：工作目录，目录下存放着训练所需代码、数据等文件
  • container_work_dir: 容器工作目录，一般同work_dir
  • container_name：自定义容器名
  • image_id：镜像id，通过docker images来查看拉取的镜像id。

步骤四：进入容器

通过容器名称进入容器中。默认使用ma-user用户执行后续命令。

docker exec -it  ${container_name} bash

修改权限。

sudo chown -r ma-user:ma-group ${container_work_dir}

此步骤可能需要密码或root权限。

步骤五：下载代码及安装环境

下载华为侧插件代码包ascendcloud-cv-6.3.911-xxx.zip文件，获取路径参见表1。

unzip ascendcloud-cv-6.3.911-*.zip 
#解压后，进到指定目录
cd paraformer/paraformer_infer/torch_npu
#安装三方库
pip install funasr==1.1.12 torchaudio==2.1.0 tqdm==4.66.6

步骤六：下载模型参数

，下载全部文件，并根据以下目录结构存放。

torch_npu
├── infer.py
├── speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch
│   ├── example
│   ├── fig
│   ├── .ds_store
│   ├── .gitattributes
│   ├── am.mvn
│   ├── config.yaml
│   ├── configuration.json
│   ├── model.pt
│   ├── readme.md
│   ├── seg_dict
│   ├── tokens.json

步骤七：下载aishell1数据集

。

图1 aishell-1数据集

解压后，存放的目录结构如下：

torch_npu
├── infer.py
├── speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch
├── speech_asr_aishell1_testsets
│   ├── wav
│   ├──transcript

在torch_npu目录下制作aishell.scp文件：

find $(pwd)/speech_asr_aishell1_testsets/wav/test -name "*.wav" | awk -f "[/ .]" '{print $(nf-1) " " $0}' >> aishell.scp

在torch_npu目录下制作label.txt文件：

wget https://www.modelscope.cn/datasets/modelscope/speech_asr_aishell1_testsets/resolve/master/aishell1_test.csv
sed -i '1d' aishell1_test.csv
sed -i 's/,/ /g' aishell1_test.csv
cat aishell1_test.csv | awk -f "/" '{print $5}' | sed 's/.wav/ /g' >> label.txt

如果aishell1_test.csv发生变化，请根据实际情况调整命令。

步骤八：执行推理脚本

python infer.py --model_path 模型文件所在的绝对路径 --input_file 测试音频所在路径

参数说明：

  • --model_path：为模型所在文件夹的绝对路径
  • --input_file：输入音频，相关格式说明参考。

测试音频speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch/example/asr_example.wav的识别结果如下：

图2 测试音频识别结果

步骤九：在aishell1测试集上测试

python infer.py --model_path 模型文件所在的绝对路径 --input_file aishell.scp

执行完生成推理结果文件infer_result.txt。

父主题：

相关文档

网站地图