llava模型基于lite server适配pytorch npu推理指导（6.3.906）-九游平台

资源规格要求

推荐使用“西南-贵阳一”region上的lite server资源和ascend snt9b。推理需要单机单卡。

获取软件和镜像

约束限制

• 本文档适配昇腾云modelarts 6.3.906版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 推理需要单机单卡。
• 确保容器可以访问公网。

step1 检查环境

1. 请参考，购买lite server资源，并确保机器已开通，密码已获取，能通过ssh登录，不同机器之间网络互通。
   

   购买lite server资源时如果无可选资源规格，需要联系华为云九游平台的技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见。

2. ssh登录机器后，检查npu卡状态。运行如下命令，返回npu设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到npu卡状态
   npu-smi info -l | grep total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的npu设备没有正常安装，或者npu镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的npu。

3. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置ip转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置ip转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

step2 启动镜像

1. 获取基础镜像。建议使用官方提供的镜像。镜像地址{image_url}参见获取软件和镜像。

   docker pull {image_url}

2. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。

   docker run -it --net=host \
   --device=/dev/davinci0 \
   --device=/dev/davinci1 \
   --device=/dev/davinci2 \
   --device=/dev/davinci3 \
   --device=/dev/davinci4 \
   --device=/dev/davinci5 \
   --device=/dev/davinci6 \
   --device=/dev/davinci7 \
   --device=/dev/davinci_manager \
   --device=/dev/devmm_svm \
   --device=/dev/hisi_hdc \
   --shm-size=32g \
   -v /usr/local/dcmi:/usr/local/dcmi \
   -v /usr/local/ascend/driver:/usr/local/ascend/driver \
   -v /var/log/npu/:/usr/slog \
   -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
   -v ${work_dir}:${container_work_dir} \
   --name ${container_name} \
   ${image_id}  \
   /bin/bash

   参数说明：

   • device=/dev/davinci0，...， --device=/dev/davinci7：挂载npu设备，示例中挂载了8张卡davinci0~davinci7。
   • ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统，work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
   • shm-size：共享内存大小。
   • ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
   • ${image_id}：镜像id，通过docker images查看刚拉取的镜像id。
   

   • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
   • driver及npu-smi需同时挂载至容器。
   • 不要将多个容器绑到同一个npu上，会导致后续的容器无法正常使用npu功能。
3. 进入容器。需要将${container_name}替换为实际的容器名称。启动容器默认使用ma-user用户，后续所有操作步骤都在ma-user用户下执行。

   docker exec -it ${container_name} bash

step3 获取代码并上传

上传代码ascendcloud-aigc-6.3.906-xxx.zip到容器的工作目录中，包获取路径请参见获取软件和镜像。

#统一文件属主为ma-user用户
sudo chown -r ma-user:ma-group  ${container_work_dir}
# ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
#例如：sudo chown -r ma-user:ma-group  /home/ma-user/ws

step4 准备推理环境

1. 获取llava模型代码。

   cd ${container_work_dir}
   unzip ascendcloud-6.3.906-xxx.zip
   unzip ascendcloud-aigc-6.3.906-xxx.zip
   cd multimodal_algorithm/llava/llava-inference/5d8f1760c08b7dfba3ae97b71cbd4c6f17d12dbd
   bash build.sh
   cd llava
   mkdir ./playground/data/eval

2. 下载llava-v1.5-13b模型。下载地址：
   图1 下载llava-v1.5-13b模型
   

step5 下载数据集

请用户自行获取，将mme评估集放于${container_work_dir}/multimodal_algorithm/llava/llava-inference/5d8f1760c08b7dfba3ae97b71cbd4c6f17d12dbd/llava/playground/data/eval目录下。

图2 mme评估集

step6 开始推理

1. 进入解压后的源码包根目录。

   cd ${container_work_dir}/multimodal_algorithm/llava/llava-inference/5d8f1760c08b7dfba3ae97b71cbd4c6f17d12dbd/llava

2. 修改mme_8p.sh。需要将脚本里模型的路径更改为实际存放模型的路径(--model-path 模型路径)，同时检查数据集路径与实际保持一致(--question-file --image-folder --answers-file)。

   vim ./scripts/v1_5/eval/mme_8p.sh

3. 运行评估脚本。启动单卡。

   ascend_rt_visible_devices=0 bash ./scripts/v1_5/eval/mme_8p.sh

4. 启动8卡。可支持单机八卡推理，可以减短耗时。

   ascend_rt_visible_devices=0,1,2,3,4,5,6,7 bash ./scripts/v1_5/eval/mme_8p.sh

faq

如果clip-vit-large-patch14-336模型不能自动下载。

请手动下载（），并在llava-v1.5-13b模型下的config.json文件中修改mm_vision_tower参数中的模型路径。

图3 提示clip-vit-large-patch14-336模型不能自动下载