昇腾能力应用地图-九游平台

modelarts支持如下开源模型昇腾npu进行训练和推理。

deepseek系列模型

表1 deepseek系列模型
支持模型	应用场景	软件技术栈	指导文档
deepseek r1	推理	mindie	deepseek模型基于modelarts lite server适配mindie推理部署指导
deepseek v3	推理	mindie	deepseek模型基于modelarts lite server适配mindie推理部署指导

llm大语言模型

modelarts针对以下主流的llm大模型进行了基于昇腾npu的适配工作，可以直接使用适配过的模型在npu上进行推理训练。

表2 llm模型推理能力
支持模型	支持模型参数量	应用场景	软件技术栈
llama	llama-7b llama-13b llama-65b	推理	ascend-vllm
llama2	llama2-7b llama2-13b llama2-70b	推理	ascend-vllm
llama3	llama3-8b llama3-70b	推理	ascend-vllm
yi	yi-6b yi-9b yi-34b	推理	ascend-vllm
deepseek	deepseek-llm-7b deepseek-llm-67b deepseek-coder-instruct-33b	推理	ascend-vllm
qwen	qwen-7b qwen-14b qwen-72b	推理	ascend-vllm
qwen1.5	qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b	推理	ascend-vllm
qwen2	qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2-57b-a14b	推理	ascend-vllm
qwen2.5	qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b	推理	ascend-vllm
baichuan2	baichuan2-7b baichuan2-13b	推理	ascend-vllm
gemma	gemma-2b gemma-7b	推理	ascend-vllm
chatglm	chatglm2-6b chatglm3-6b	推理	ascend-vllm
glmv4	glm4-9b	推理	ascend-vllm
mistral	mistral-7b mistral-8x7b	推理	ascend-vllm
falcon	falcon-11b	推理	ascend-vllm
llama3.1	llama3.1-8b llama3.1-70b llama-3.1-405b	推理	ascend-vllm
llama3.2	llama-3.2-1b llama-3.2-3b	推理	ascend-vllm
deepseek	deepseek-v2-236b deepseek-v2-lite-16b	推理	ascend-vllm
qwen-vl	qwen-vl qwen-vl-chat	推理	ascend-vllm
minicpm-v2	minicpm-v2	推理	ascend-vllm
gte-qwen2-7b-instruct	gte-qwen2-7b-instruct	推理	ascend-vllm

表3 llm模型训练能力
支持模型	支持模型参数量	应用场景	软件技术栈
llama2	llama2-7b llama2-13b llama2-70b	预训练、sft全参微调、lora微调	modellink llamafactory
llama3	llama3-8b llama3-70b	预训练、sft全参微调、lora微调	modellink llamafactory
qwen	qwen-7b qwen-14b qwen-72b	预训练、sft全参微调、lora微调	modellink
qwen1.5	qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b	预训练、sft全参微调、lora微调	modellink llamafactory
qwen2	qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b	预训练、sft全参微调、lora微调	modellink llamafactory
qwen2.5	qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b	预训练、sft全参微调、lora微调	modellink
yi	yi-6b yi-34b	预训练、sft全参微调、lora微调	modellink llamafactory
chatglmv3	glm3-6b	预训练、sft全参微调、lora微调	modellink
glmv4	glm4-9b	预训练、sft全参微调、lora微调	modellink llamafactory
baichuan2	baichuan2-13b	预训练、sft全参微调、lora微调	modellink llamafactory
mistral	mistral-7b	预训练、sft全参微调、lora微调	modellink llamafactory
mixtral	mixtral-8x7b	预训练、sft全参微调、lora微调	modellink llamafactory
llama3.1	llama3.1-8b llama3.1-70b	预训练、sft全参微调、lora微调	modellink llamafactory
llama3.2	llama3.2-1b llama3.2-3b	预训练、sft全参微调、lora微调	modellink llamafactory
qwen2_vl	qwen2_vl-2b qwen2_vl-7b qwen2_vl-72b	预训练、sft全参微调、lora微调	llamafactory
falcon2	falcon-11b	预训练、sft全参微调、lora微调	llamafactory

多模态模型

modelarts针对以下主流的多模态模型进行了基于昇腾npu的适配工作，可以直接使用适配过的模型在npu上进行推理或训练。

表4 多模态模型基于ascend-vllm框架的推理
支持模型	支持模型参数量	应用场景	软件技术栈
internvl2	internvl2-8b internvl2-26b internvl2-40b internvl2-llama3-76b	推理	ascend-vllm
minicpm	minicpm-v2.6	推理	ascend-vllm
qwen2-vl	qwen2-vl-2b qwen2-vl-7b qwen2-vl-72b	推理	ascend-vllm
llava	llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b	推理	ascend-vllm
llava-onevision-qwen2	llava-onevision-qwen2-0.5b-ov-hf llava-onevision-qwen2-7b-ov-hf	推理	ascend-vllm

表5 多模态模型基于pytorch的训练推理
模型名称	应用场景	软件技术栈	指导文档
qwen-vl	训练推理	pytorch	qwen-vl基于standard obs sfs适配pytorch npu训练指导（6.3.912） qwen-vl模型基于standard obs适配pytorch npu训练指导（6.3.912） qwen-vl基于lite server适配pytorch npu的finetune训练指导(6.3.912) qwen-vl基于lite server适配pytorch npu的推理指导（6.3.909）
minicpm-v2.6	训练	pytorch	minicpm-v2.6基于lite server适配pytorch npu训练指导（6.3.912）
minicpm-v2.0	训练推理	pytorch	minicpm-v2.0推理及lora微调基于lite server适配pytorch npu指导（6.3.910）
internvl2	训练	pytorch	internvl2基于lite server适配pytorch npu训练指导（6.3.912）
llava-next	训练	pytorch	llava-next基于lite server适配pytorch npu训练微调指导（6.3.912）
llava	训练推理	pytorch	llava模型基于lite server适配pytorch npu预训练指导（6.3.912） llava模型基于lite server适配pytorch npu推理指导（6.3.906）
llama 3.2-vision	训练	pytorch	llama 3.2-vision基于lite server适配pytorch npu训练微调指导（6.3.912）
llama-vid	推理	pytorch	llama-vid基于lite server适配pytorch npu推理指导（6.3.910）
moondream2	推理	pytorch	moondream2基于lite server适配pytorch npu推理指导

文生图模型

modelarts针对以下主流的aigc文生图模型进行了基于昇腾npu的适配工作，可以直接使用适配过的模型在npu上进行推理或训练。

表6 文生图模型
模型名称	应用场景	软件技术栈	指导文档
stable diffusion xl（sdxl）	diffusers训练 kohya训练 comfyui推理 diffusers推理	pytorch	sd1.5&sdxl diffusers框架基于devserver适配pytorch npu训练指导（6.3.908） sd1.5&sdxl kohya框架基于devserver适配pytorch npu训练指导（6.3.908） sdxl基于standard适配pytorch npu的lora训练指导（6.3.908）
stable diffusion 1.5（sd1.5）	comfyui推理 diffusers推理	pytorch	sd1.5&sdxl diffusers框架基于devserver适配pytorch npu训练指导（6.3.908） sd1.5&sdxl kohya框架基于devserver适配pytorch npu训练指导（6.3.908）
stable diffusion 3（sd3）	训练 diffusers推理	pytorch	sd3 diffusers框架基于lite server适配pytorch npu推理指导（6.3.912）
stable diffusion 3.5（sd3.5）	推理	pytorch
flux.1	训练推理	pytorch
hunyuan-dit	推理	pytorch
open-clip	训练推理	pytorch	open-clip基于lite server适配pytorch npu训练指导

表7 数字人模型
模型名称	应用场景	软件技术栈	指导文档
wav2lip	训练	pytorch	wav2lip训练基于lite server适配pytorch npu训练指导（6.3.907）
wav2lip	推理	pytorch	wav2lip推理基于lite server适配pytorch npu推理指导（6.3.907）

表8 文生视频模型
模型名称	应用场景	软件技术栈	指导文档
cogvideox1.5	训练	pytorch
cogvideox	训练	pytorch	cogvideox模型基于lite server适配pytorch npu全量训练指导（6.3.911）
open-sora1.2	训练推理	pytorch	open-sora1.2基于lite server适配pytorch npu训练推理指导（6.3.910）
open-sora1.0	训练	pytorch	open-sora 1.0基于lite server适配pytorch npu训练指导（6.3.905）
open-sora-plan1.0	训练推理	pytorch	open-sora-plan1.0基于lite server适配pytorch npu训练推理指导（6.3.907）

表9 内容审核模型
模型名称	应用场景	软件技术栈	指导文档
bert	推理	mindspore lite	bert基于lite server适配mindspore lite推理指导(6.3.910)
yolov8	推理	mindspore lite	yolov8基于lite server适配mindspore lite推理指导（6.3.909）
paraformer	推理	pytorch	paraformer基于lite server适配pytorch npu推理指导（6.3.911）

上一篇：modelarts最佳实践案例列表

意见反馈

文档内容是否对您有帮助？

提交成功！非常感谢您的反馈，我们会继续努力做到更好！您可在查看反馈及问题处理状态。

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

如您有其它疑问，您也可以通过华为云社区问答频道来与我们联系探讨