ubuntu 22.04服务器版本cudada服务器版本、Anaconda、pytorch环境配置,llama安装

发布时间:2025-06-24 17:11:51  作者:北方职教升学中心  阅读量:953


新服务器安装cuda安装、Anaconda及配置llama_factory配置大模型。

只安装nvidia驱动的新服务器,版本为ubuntu 22.04, 无图形界面,详细的配置流程如下。

1 硬件网络连接。

第一个问题是服务器连接上网线,但仍然无法访问网络�用。ip addr。检查发现四个端口均为。state down。,下图,说明没有启用。
在这里插入图片描述
网口名称为作者的硬件连接。ens5f1。,执行。 sudo ip link set ens5f1 up。即可启动。

2 安装cuda。

(1) 下载安装包。

执行。nvidia-smi。最高可安装版本的cuda为12.5。
在这里插入图片描述
进入官网直接下载󿀌为了保证我们需要安装的大多数软件的适应性,我们选择cuda 11.8安装󿀌进入官网界面选择:
在这里插入图片描述

根据自己系统的要求选择linux、x86_64、Ubuntu、22.04󿀌安装类型选择runfile(local),方便快捷,#xff00c;即依次输入下面的url。

wget。https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run。
sudo。sh。cuda_11.8.0_520.61.05_linux.run。

在这里插入图片描述
在步骤2中࿰安装程序c;该界面的出现是同意条款,输入accept即可。
在这里插入图片描述

具体安装内容,安装包内自带显卡驱动driver#xff0c;但我们以前已经安装过了(nvidia-smi成功操作说明驱动成功安装,这里不再重复安装󿀌CUDA demo suite 和CUDA documentation 示例和帮助文档文件,根据需要选择󿀌作者选择不安装󿀌注意通过空间取消选择,选择Install,然后是漫长的等待。
在这里插入图片描述

安装完成后出现以下界面说明。
在这里插入图片描述

(2)配置环境变量(含vim 操作)

根据提示󿀌还需要。配置环境变量。,打开终端�打开bashrc文件执行下列命令。文件保存相关环境变量的设置,因为服务器没有图形界面,因此,使用vim编辑,~。表示用户目录(即/home/xxx/)

sudo vim ~/.bashrc。

图形界面,也可以用以下命令打开󿀌编辑记事本,或者在文件系统页面,可见隐藏文件,然后双击即可󿀌但是,也许是因为权限问题,只读,因此,建议打开终端命令进行编辑。

sudo gedit ~/.bashrc。

vim编辑。操作如下:

按下键盘。i。进入插入模式󿀌在文档末尾添加以下内容,注意路径和版本号是否与安装一致。

export PATH=/usr/local/cuda-11.8/bin${ PATH:+:${ PATH}}export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${ LD_LIBRARY_PATH:+:${ LD_LIBRARY_PATH}}。

在这里插入图片描述

按。Esc。xff00退出插入模式c;然后输入。:wq。再回车即可保存并退出。

再输入。source ~/.bashrc。重载,输入。nvcc -V。查看以下界面,即安装成功。
在这里插入图片描述

3 安装Anaconda。

(1) 下载安装包。

由于国内网络环境�官网下载速度慢,根据系统和版本,我们可以进入清华大学开源软件界面下载,我们选择了更新的Anaconda3-5.0.0。
在这里插入图片描述

但由于。没有图形界面的服务器。,也可以使用命令行安装。

wget。--user-agent。="Mozilla"https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh。

若不加。--user-agent="Mozilla" 会报错,下图,这是因为服务器正在检查引用者,一些 HTTP 请求也会得到错误的响应󿀌他们会拒绝 Mozilla 开始或不包括 Wget 用户代理。
在这里插入图片描述
下载后操作。sh Anaconda3-5.0.0-Linux-x86_64.sh。按提示即可。

bunzip2包缺少中间错误#xff0c;下图,运行。sudo apt install -y bzip2。重新安装后即可。
在这里插入图片描述
最后,提示是否添加环境变量,输入yes�但此时终端只能。source activate。,并不能用。conda activate。
在这里插入图片描述

(2) 配置环境变量。

为了能用。conda xxx。命令激活环境󿀌需要。sudo vim ~/.bashrc。打开配置文件c;并添加以下内容,注意改变Anaconda的安装位置,作者是在/home/xxx/anaconda3目录下。

# >>> conda initialize >>># !! Contents within this block are managed by 'conda init' !!__conda_setup="$('/home/xxx/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"if [ $? -eq 0 ]; then    eval "$__conda_setup"else    if [ -f "/home/xxx/Anaconda3//etc/profile.d/conda.sh" ]; then        . "/home/xxx/Anaconda3//etc/profile.d/conda.sh"    else        export PATH="/home/xxx/Anaconda3//bin:$PATH"    fifiunset __conda_setup# <<< conda initialize <<<

Anaconda已安装完毕。

(3) 更换软件源。

但由于国内网络原因,不能直接访问anaconda官网󿀌需要进行。换源。,依次输入:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2///conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls。 yes。

注意。,若输入。sudo vim ~/.condarc。输入Anaconda的配置文件,输入以下内容。

channels:- defaultsshow_channel_urls: truedefault_channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/biocondacustom_channels:  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud。

再。再。conda clean -i。

清除缓存。交换源,有可能出现。CondaError:Conda HTTP ErrOr:HTTP 404 NOT FOUND for url https://mirrors.tuna.tsinghu.cn/anaconda/pkgs/main/linux-64/libgcc mutex-0.1-main.tar.bz2>Elapsed: 00:00.482740。报错,找不到相应的下载。
在这里插入图片描述

。下图,所以大家还是下令吧󿀌作者在这里卡了很久都找不到原因。

(4)更换默认环境和缓存路径。通过。conda info。
在这里插入图片描述

检查各种配置。这里的defaultt packagenv环境路径 需要修改cache路径,否则会占用其他地方的内容,导致爆满,输入。sudo vim ~/.condarc。

进入Anaconda配置文件,添加以下内容,可以自定义位置。

envs_dirs: - /home/xxx/anaconda3/envspkgs_dirs: - /home/xxx/anaconda3/pkgs。

4 安装pytorch 2.4.0。
在这里插入图片描述
直接在官网下载󿀌选择wheel方式,注意根据不同的cuda版本选择,作者为11.8。

即: pip。install。torch。==2.4。 .0。torchvision。==0.19。 .0。torchaudio。==2.4。

.0 --index-url https://download.pytorch.org/whl/cu118。

5 安装llama_factory。进入官网查看。llamafactory。推荐配置󿀌作者选择的版本是。
在这里插入图片描述

python 3.10, torch 2.4.0, cuda 11.8。下载源码。

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git。进入文件夹。

cd LLaMA-Factory。安装依赖。pip install -r requirements.txt。和。

pip install -e ".[torch,metrics]"报错。could not create egg-info。,下图,这是由于。 setuptools。太高或太低的版本󿀌查询后,作者为65.00.0,进行了。升等级。和。给文件夹权限。
在这里插入图片描述

两个操作,不清楚哪个是有效作者。

但在最终执行这两个命令后,安装成功。

pip install --upgrade setuptools。

sudo chmod -R 777 LLaMA-Factory/。

执行以下命令测试llama_factory:。

llamafactory-cli webui。
在这里插入图片描述

提示如下。需要打开源码󿀌进入。LLaMA-Factory/src/llamafactory/webui/interface.py。文件中,将。run_web_ui()。函数内。gradio_share = os.environ.get("GRADIO_SHARE", "0").lower() in ["true", "1"]。修改为。gradio_share = True。
在这里插入图片描述

,如下图。

错误提示再次缺乏frpc_linux_amd64_v0.文件,按照提示下载并重命名,赋予执行权,把它放在指定的位置。

https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64。
在这里插入图片描述

再次运行�您可以通过链接进入llama_factory的UI界面。