ubuntu 22.04服务器版本cudada服务器版本、Anaconda、pytorch环境配置,llama安装
发布时间:2025-06-24 17:11:51 作者:北方职教升学中心 阅读量:953
新服务器安装cuda安装、Anaconda及配置llama_factory配置大模型。
只安装nvidia驱动的新服务器,版本为ubuntu 22.04, 无图形界面,详细的配置流程如下。
1 硬件网络连接。
第一个问题是服务器连接上网线,但仍然无法访问网络用。ip addr。
检查发现四个端口均为。state down。
,下图,说明没有启用。
网口名称为作者的硬件连接。ens5f1。
,执行。 sudo ip link set ens5f1 up。
即可启动。
2 安装cuda。
(1) 下载安装包。
执行。nvidia-smi。
最高可安装版本的cuda为12.5。
进入官网直接下载为了保证我们需要安装的大多数软件的适应性,我们选择cuda 11.8安装进入官网界面选择:
根据自己系统的要求选择linux、x86_64、Ubuntu、22.04安装类型选择runfile(local),方便快捷,#xff00c;即依次输入下面的url。
wget。https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run。
sudo。sh。cuda_11.8.0_520.61.05_linux.run。
在步骤2中安装程序c;该界面的出现是同意条款,输入accept即可。
具体安装内容,安装包内自带显卡驱动driver#xff0c;但我们以前已经安装过了(nvidia-smi成功操作说明驱动成功安装,这里不再重复安装CUDA demo suite 和CUDA documentation 示例和帮助文档文件,根据需要选择作者选择不安装注意通过空间取消选择,选择Install,然后是漫长的等待。
安装完成后出现以下界面说明。
(2)配置环境变量(含vim 操作)
根据提示还需要。配置环境变量。,打开终端打开bashrc文件执行下列命令。文件保存相关环境变量的设置,因为服务器没有图形界面,因此,使用vim编辑,~。
表示用户目录(即/home/xxx/)
sudo vim ~/.bashrc。
图形界面,也可以用以下命令打开编辑记事本,或者在文件系统页面,可见隐藏文件,然后双击即可但是,也许是因为权限问题,只读,因此,建议打开终端命令进行编辑。
sudo gedit ~/.bashrc。
vim编辑。操作如下:
按下键盘。i。
进入插入模式在文档末尾添加以下内容,注意路径和版本号是否与安装一致。
export PATH=/usr/local/cuda-11.8/bin${ PATH:+:${ PATH}}export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${ LD_LIBRARY_PATH:+:${ LD_LIBRARY_PATH}}。
按。Esc。
xff00退出插入模式c;然后输入。:wq。
再回车即可保存并退出。
再输入。source ~/.bashrc。
重载,输入。nvcc -V。
查看以下界面,即安装成功。
3 安装Anaconda。
(1) 下载安装包。
由于国内网络环境官网下载速度慢,根据系统和版本,我们可以进入清华大学开源软件界面下载,我们选择了更新的Anaconda3-5.0.0。
但由于。没有图形界面的服务器。,也可以使用命令行安装。
wget。--user-agent。="Mozilla"https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh。
若不加。--user-agent="Mozilla"
会报错,下图,这是因为服务器正在检查引用者,一些 HTTP 请求也会得到错误的响应他们会拒绝 Mozilla 开始或不包括 Wget 用户代理。
下载后操作。sh Anaconda3-5.0.0-Linux-x86_64.sh。
按提示即可。
bunzip2包缺少中间错误#xff0c;下图,运行。sudo apt install -y bzip2。
重新安装后即可。
最后,提示是否添加环境变量,输入yes但此时终端只能。source activate。
,并不能用。conda activate。
(2) 配置环境变量。
为了能用。conda xxx。
命令激活环境需要。sudo vim ~/.bashrc。
打开配置文件c;并添加以下内容,注意改变Anaconda的安装位置,作者是在/home/xxx/anaconda3目录下。
# >>> conda initialize >>># !! Contents within this block are managed by 'conda init' !!__conda_setup="$('/home/xxx/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"if [ $? -eq 0 ]; then eval "$__conda_setup"else if [ -f "/home/xxx/Anaconda3//etc/profile.d/conda.sh" ]; then . "/home/xxx/Anaconda3//etc/profile.d/conda.sh" else export PATH="/home/xxx/Anaconda3//bin:$PATH" fifiunset __conda_setup# <<< conda initialize <<<
Anaconda已安装完毕。
(3) 更换软件源。
但由于国内网络原因,不能直接访问anaconda官网需要进行。换源。,依次输入:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2///conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls。 yes。
注意。,若输入。sudo vim ~/.condarc。
输入Anaconda的配置文件,输入以下内容。
channels:- defaultsshow_channel_urls: truedefault_channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/biocondacustom_channels: conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud。
再。再。
conda clean -i。
清除缓存。交换源,有可能出现。
CondaError:Conda HTTP ErrOr:HTTP 404 NOT FOUND for url https://mirrors.tuna.tsinghu.cn/anaconda/pkgs/main/linux-64/libgcc mutex-0.1-main.tar.bz2>Elapsed: 00:00.482740。报错,找不到相应的下载。
。下图,所以大家还是下令吧作者在这里卡了很久都找不到原因。
(4)更换默认环境和缓存路径。通过。
conda info。
检查各种配置。这里的defaultt packagenv环境路径 需要修改cache路径,否则会占用其他地方的内容,导致爆满,输入。
sudo vim ~/.condarc。
进入Anaconda配置文件,添加以下内容,可以自定义位置。
envs_dirs: - /home/xxx/anaconda3/envspkgs_dirs: - /home/xxx/anaconda3/pkgs。
4 安装pytorch 2.4.0。
直接在官网下载选择wheel方式,注意根据不同的cuda版本选择,作者为11.8。
即: pip。install。torch。==2.4。 .0。torchvision。==0.19。 .0。torchaudio。==2.4。
.0 --index-url https://download.pytorch.org/whl/cu118。
5 安装llama_factory。进入官网查看。
llamafactory。推荐配置作者选择的版本是。
python 3.10, torch 2.4.0, cuda 11.8。下载源码。
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git。进入文件夹。
cd LLaMA-Factory。安装依赖。
pip install -r requirements.txt。和。
pip install -e ".[torch,metrics]"报错。
could not create egg-info。,下图,这是由于。
setuptools。太高或太低的版本查询后,作者为65.00.0,进行了。升等级。和。给文件夹权限。
两个操作,不清楚哪个是有效作者。
但在最终执行这两个命令后,安装成功。
pip install --upgrade setuptools。
sudo chmod -R 777 LLaMA-Factory/。
执行以下命令测试llama_factory:。
llamafactory-cli webui。
提示如下。需要打开源码进入。LLaMA-Factory/src/llamafactory/webui/interface.py。文件中,将。
run_web_ui()。函数内。
gradio_share = os.environ.get("GRADIO_SHARE", "0").lower() in ["true", "1"]。修改为。
gradio_share = True。
,如下图。
错误提示再次缺乏frpc_linux_amd64_v0.文件,按照提示下载并重命名,赋予执行权,把它放在指定的位置。
https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64。