注：ASCEND_RT_VISIBLE_DEVICES
发布时间：2025-06-24 19:20:39 作者：北方职教升学中心 阅读量：024
2 安装 openMind Library 和 openMind Hub Client。
1 模型下载。注：
ASCEND_RT_VISIBLE_DEVICES。webui使用、
请参考安装教程或使用以下命令快速安装。如模型导出、
六 微调与推理。
2 准备配置文件。请参阅原始支持文档：https://ascend.github.io/docs/sources/llamafactory/example.html。
动态合并 LoRA 的推理。二 环境准备。# CANN版本和设备型号对应的URL请更换URL# 安装CANN Toolkitwget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL V100R01C17SPC701Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".runbash Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run --install# 安装CANN Kernelswget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL V100R01C17SPC701Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.runbash Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run --install# 设置环境变量source /usr/local/Ascend/ascend-toolkit/set_env.sh。
如下图所示， {author}}。翻译、qwen1_5_5lora_sft_ds.yaml。
openMind安装安装 Library，并安装Pytorch框架及其依赖性。更多的先进功能，谁通过询问大模型来检查大模型？ sft 指令微调的结果，下图，大模型回答自己是 Ascend-helper 说明 sft 成功，如果失败，可返回微调阶段，
为指定 NPU 环境变量，可根据现有环境进行修改。Ascend。一 概述。重新训练。参考魔乐社区官方指导从魔乐社区下载以下脚本或使用以下脚本 Qwen1.5-7B 模型：
from openmind_hub import snapshot_downloadmodel_path = snapshot_download("PyTorch-NPU/qwen1.5_7b", revision="main", resume_download=True)。
1 安装 Ascend CANN Toolkit 和 Kernels。请参阅官方数据集构建指南 。模型评估等，
有关自定义数据集构建的更多信息，- 应用使能套件 openMind 为大多数模型开发者提供高效简洁的工具，魔乐在各个领域托管了大量的主流模型 CPU 和昇腾 NPU 基本计算能力 space app，同时，越来越多的开源三方软件开始本地支持升腾 NPU，开发者可以在魔乐社区体验到更强大的东西 AI 大模型和有趣的 app，欢迎一起探索#xff01;
- 相关链接。
使用以下指令启动 Qwen1.5-7B 模型微调：
ASCEND_RT_VISIBLE_DEVICES=0 llamafactory-cli train <your_path>/qwen1_5___lora_sft_ds.yaml。openMind Hub client介绍：https://modelers.cn/docs/zh/openmind-hub-client/overview.html。本文使用的数据集为 LLaMA-Factory 自带的 identity 和 alpaca_en_demo，对 identity 定制指令：。
以下内容如下：### model### 编辑此变量为存储该模型的路径model_name_or_path: <your/path/to/PyTorch-NPU/qwen1.5_7b>### methodstage: sftdo_train: truefinetuning_type: loralora_target: q_proj,v_proj### ddpddp_timeout: 180000000depspeed: examples/deepspeed/ds_z0_config.json### datasetdataset: identity,alpaca_en_demotemplate: qwencutoff_len: 1024max_samples: 1000overwrite_cache: truepreprocessing_num_workers: 16### outputoutput_dir: saves/Qwen1.5-7B/lora/sftlogging_steps: 10save_steps: 500plot_loss: trueoverwrite_output_dir: true### trainper_device_train_batch_size: 1gradient_accumulation_steps: 2learning_rate: 0.0001num_train_epochs: 3.0lr_scheduler_type: cosinewarmup_ratio: 0.1fp16: true### evalval_size: 0.1per_device_eval_batch_size: 1evaluation_strategy: stepseval_steps: 500。
pip install openmind[pt]。
基于 LoRA 的 sft 指令微调。openMind安装安装 Hub Client。Qwen系列模型是阿里巴巴开发的开源大语言模型，它广泛应用于自然语言处理的各种任务，包括文本生成、
- pip install openmind_hub。
四 直接推理原始模型
验证 LLaMA-Factory 在昇腾 NPU 上推理功能正常吗？#xff1a;ASCEND_RT_VISIBLE_DEVICES=0 llamafactory-cli webchat --model_name_or_path <your/path/to/PyTorch-NPU/qwen1.5_7b> \ --adapter_name_or_path saves/Qwen1.5-7B/lora/sft \ --template qwen \ --finetuning_type lora。本文中使用的配置文件。摘要生成等。本文的目标是使用 openMind 工具套件及 LLaMA-Factory 开源微调框架在昇腾 NPU 上跑通 Qwen1.5-7B 微调和推理模型的整个过程。- 2 安装 openMind Library 和 openMind Hub Client。
更详细的安装信息请参考openMind官方环境安装章节。
使用以下指令实现动态合并 LoRA 的 Qwen1.5-7B 模型推理：
ASCEND_RT_VISIBLE_DEVICES=0 llamafactory-cli chat --model_name_or_path <your/path/to/PyTorch-NPU/qwen1.5_7b> \ --adapter_name_or_path saves/Qwen1.5-7B/lora/sft \ --template qwen \ --finetuning_type lora。
七 总结。正常对话，即可正常推理：
- 五 构建自定义数据集。
四 直接推理原始模型。增加训练轮数，
替换为。{。
3 安装 LLaMA-Factory。
使用以下指令快速安装：