internvl2基于lite server适配pytorch npu训练指导（6.3.912）-九游平台

方案概览

本方案介绍了在modelarts lite server上使用昇腾计算资源ascend snt9b开展internvl2-8b, internvl2-26b和internvl2-40b模型的训练过程，包括finetune训练和lora训练。

约束限制

• 本方案目前仅适用于企业客户。
• 本文档适配昇腾云modelarts 6.3.912版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

资源规格要求

推荐使用“西南-贵阳一”region上的server资源和ascend snt9b。

获取软件和镜像

步骤一：检查环境

1. 请参考，购买server资源，并确保机器已开通，密码已获取，能通过ssh登录，不同机器之间网络互通。
   

   购买server资源时如果无可选资源规格，需要联系华为云九游平台的技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见。

2. ssh登录机器后，检查npu卡状态。运行如下命令，返回npu设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到npu卡状态
   npu-smi info -l | grep total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的npu设备没有正常安装，或者npu镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的npu。

3. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置ip转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置ip转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

步骤二：获取基础镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。

步骤三：启动容器镜像

启动容器镜像，启动前可以根据实际需要增加修改参数。

步骤四：进入容器

通过容器名称进入容器中。默认使用ma-user用户执行后续命令。

docker exec -it  ${container_name} bash

修改权限。

sudo chown -r ma-user:ma-group ${container_work_dir}

此步骤可能需要密码或root权限。

步骤五：下载代码安装环境

下载华为侧插件代码包ascendcloud-aigc-6.3.912-xxx.zip文件，获取路径参见表1。

unzip ascendcloud-aigc-6.3.912-*.zip 
bash multimodal_algorithm/internvl2/train/5d8f485ad09b3eb9b2a7d9a24cca727fa58bb775/internvl2_install.sh
cp multimodal_algorithm/internvl2/train/5d8f485ad09b3eb9b2a7d9a24cca727fa58bb775/shells/* internvl/internvl_chat/shell/internvl2.0/2nd_finetune/

步骤六：增加适配代码

cd ${container_work_dir}/multimodal_algorithm/ascendcloud_multimodal_plugin 
pip install -e .
cd ${container_work_dir}

from ascendcloud_multimodal.train.models.internvl2 import ascend_modeling_internvl

cp -rf multimodal_algorithm/ascendcloud_multimodal_plugin/ascendcloud_multimodal/train/models/internvl2/modeling_intern_vit.py ${container_work_dir}/internvl/internvl_chat/internvl/model/internvl_chat/modeling_intern_vit.py

cd ${container_work_dir}
cp -rf multimodal_algorithm/ascendcloud_multimodal_plugin/ascendcloud_multimodal/train/models/internvl2/modeling_intern_vit.py ${container_work_dir}/internvl/internvl_chat/internvl/model/internvl_chat/modeling_intern_vit.py
cp -rf multimodal_algorithm/ascendcloud_multimodal_plugin/ascendcloud_multimodal/train/models/internvl2/modeling_internlm2.py  ${container_work_dir}/internvl/internvl_chat/internvl/model/internlm2/modeling_internlm2.py

步骤七：下载数据集

先创建文件夹用来存放数据集，再下载数据集。

步骤八：下载模型权重

模型权重(可选择)internvl2-8b， internvl2-26b， internvl2-40b

手动下载放置在${container_work_dir}/internvl/internvl_chat/pretrained路径下， pretrained目录需手动创建。

步骤九：开始训练

单机训练

cd ${container_work_dir}/internvl/internvl_chat 
# 8b全参微调
gpus=8 per_device_batch_size=2 sh shell/internvl2.0/2nd_finetune/internvl2_8b_internlm2_7b_dynamic_res_2nd_finetune_full.sh 
# 8blora微调
gpus=8 per_device_batch_size=2 sh shell/internvl2.0/2nd_finetune/internvl2_8b_internlm2_7b_dynamic_res_2nd_finetune_lora.sh 
# 26blora微调
gpus=8 per_device_batch_size=2 sh shell/internvl2.0/2nd_finetune/internvl2_26b_internlm2_20b_dynamic_res_2nd_finetune_lora.sh 
# 40blora微调
gpus=8 per_device_batch_size=2 sh shell/internvl2.0/2nd_finetune/internvl2_40b_hermes2_yi_34b_dynamic_res_2nd_finetune_lora.sh

多机训练

cd ${container_work_dir}/internvl/internvl_chat  
# 8b lora
gpus=8 per_device_batch_size=2 nnodes=${node_num} node_rank=${node_rank} master_addr="${master_node_ip}" sh shell/internvl2.0/2nd_finetune/internvl2_8b_internlm2_7b_dynamic_res_2nd_finetune_lora_multi.sh 
# 8b full
gpus=8 per_device_batch_size=2 nnodes=${node_num} node_rank=${node_rank} master_addr="${master_node_ip}" sh shell/internvl2.0/2nd_finetune/internvl2_8b_internlm2_7b_dynamic_res_2nd_finetune_full_multi.sh 
# 26b lora
gpus=8 per_device_batch_size=2 nnodes=${node_num} node_rank=${node_rank} master_addr="${master_node_ip}" sh shell/internvl2.0/2nd_finetune/internvl2_26b_internlm2_20b_dynamic_res_2nd_finetune_lora_multi.sh 
# 26b full
gpus=8 per_device_batch_size=2 nnodes=${node_num} node_rank=${node_rank} master_addr="${master_node_ip}" sh shell/internvl2.0/2nd_finetune/internvl2_26b_internlm2_20b_dynamic_res_2nd_finetune_full_multi.sh
# 40b lora
gpus=8 per_device_batch_size=2 nnodes=${node_num} node_rank=${node_rank} master_addr="${master_node_ip}" sh shell/internvl2.0/2nd_finetune/internvl2_40b_hermes2_yi_34b_dynamic_res_2nd_finetune_lora_multi.sh 
# 40b full
gpus=8 per_device_batch_size=2 nnodes=${node_num} node_rank=${node_rank} master_addr="${master_node_ip}" sh shell/internvl2.0/2nd_finetune/internvl2_40b_hermes2_yi_34b_dynamic_res_2nd_finetune_full_multi.sh

参数说

• node_num：机器数量。
• node_rank：机器rank num，主机为0，其余递增。
• master_addr：主机ip地址。
• gpus: 每台机器npu卡数
• per_device_batch_size：每张卡batch size

训练成功如下图所示。