llama-九游平台

方案概览

本方案介绍了在modelarts lite server上使用昇腾计算资源ascend snt9b开展llama-vid的推理过程。

约束限制

• 本方案目前仅适用于企业客户。
• 本文档适配昇腾云modelarts 6.3.910版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

资源规格要求

推荐使用“西南-贵阳一”region上的lite server资源和ascend snt9b。

获取软件和镜像

步骤一 检查环境

1. 请参考，购买lite server资源，并确保机器已开通，密码已获取，能通过ssh登录，不同机器之间网络互通。
   

   购买lite server资源时如果无可选资源规格，需要联系华为云九游平台的技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见。

2. ssh登录机器后，检查npu卡状态。运行如下命令，返回npu设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到npu卡状态
   npu-smi info -l | grep total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的npu设备没有正常安装，或者npu镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的npu。

3. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置ip转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置ip转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

步骤二 获取基础镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。

步骤三 启动容器镜像

启动容器镜像，启动前可以根据实际需要增加修改参数。

步骤四 进入容器

通过容器名称进入容器中。默认使用ma-user用户执行后续命令。

docker exec -it  ${container_name} bash

修改权限。

sudo chown -r ma-user:ma-group ${container_work_dir}

此步骤可能需要密码或root权限。

步骤五 下载代码及安装环境

下载华为侧插件代码包ascendcloud-aigc-6.3.910-xxx.zip文件，获取路径参见表1。

unzip ascendcloud-aigc-6.3.910-xxx.zip 
解压后，进到指定目录：
cd multimodal_algorithm/llama-vid/
执行安装脚本：
bash llama_vid_install.sh

步骤六 下载模型参数

从链接https://huggingface.co/yanweili/llama-vid-7b-full-224-video-fps-1中，下载模型参数，并根据以下目录结构存放
llama-vid
├── llamavid
├── scripts
├── work_dirs
│   ├── llama-vid
│   │   ├── llama-vid-7b-full-224-video-fps-1
│   │   ├── ...

步骤七 下载model_zoo相关数据

从以下5个链接下载model_zoo数据

https://huggingface.co/lmsys/vicuna-7b-v1.5
https://huggingface.co/lmsys/vicuna-13b-v1.5
https://storage.googleapis.com/sfr-vision-language-research/lavis/models/blip2/eva_vit_g.pth
https://storage.googleapis.com/sfr-vision-language-research/lavis/models/instructblip/instruct_blip_vicuna7b_trimmed.pth
https://storage.googleapis.com/sfr-vision-language-research/lavis/models/instructblip/instruct_blip_vicuna13b_trimmed.pth

在根目录llama-vid下创建model_zoo路径，下载的文件根据以下目录结构进行存放

步骤8 下载msvd_qa数据集

msvd_qa数据集下载路径：https://mycuhk-my.sharepoint.com/:u:/g/personal/1155186668_link_cuhk_edu_hk/eunexqg8pctpq3wzphb4fd8byixho5qpcnu6awsrv1o4jq?e=guynwu

解压后，存放的目录结构如下：

llama-vid
├── data
│   ├── llama-vid-eval
│   │   ├── msvd-qa

步骤9 启动一级流水优化

export task_queue_enable=2

步骤10 修改msvd_eval.sh参数

修改scripts/video/eval/msvd_eval.sh中的参数

1. 模型存放的地方，如果根据第2步的方式保存的模型，设置如下：

   ckpt="llama-vid/llama-vid-7b-full-224-video-fps-1"

2. 调用openai的key，评估精度时需要调用openai，需要填写正确的key，这个可能需要进行付费调用，评估1000条大概需要0.15美元

   openaikey=""

   注：openai不支持中国大陆和香港，不能使用中国的代理。

3. 推理结果保存的文件名，可不用修改，使用默认的文件名

   outputname=pred

步骤11 执行推理脚本

bash scripts/video/eval/msvd_eval.sh

步骤12 查看推理结果

在./work_dirs/eval_msvd/$ckpt下，存在两个文件，可以查看推理的精度和性能结果

1. 精度结果文件：accuracy_${time_stamp}.json
2. 性能结果文件：performance_${time_stamp}.json