学术研究与教育等场景

以下是针对 Ubuntu 系统的 Xinference 基于 Docker 的部署文档，步骤更详细且适配 Ubuntu 环境：

Xinference 基于 Docker 的 Ubuntu 部署指南

1. 安装 Docker

1.1 更新系统包

sudoapt-getupdatesudoapt-getupgrade -y

1.2 安装 Docker

# 安装依赖sudoapt-getinstallapt-transport-https ca-certificates curlsoftware-properties-common -y# 添加 Docker 官方 GPG 密钥curl-fsSLhttps://download.docker.com/linux/ubuntu/gpg |sudogpg --dearmor-o/usr/share/keyrings/docker-archive-keyring.gpg# 添加 Docker APT 仓库echo\"deb [arch=$(dpkg --print-architecture)signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \  $(lsb_release -cs)stable"|sudotee/etc/apt/sources.list.d/docker.list >/dev/null# 安装 Docker Enginesudoapt-getupdatesudoapt-getinstalldocker-ce docker-ce-cli containerd.io -y

1.3 验证 Docker 安装

sudodocker--version# 应显示 Docker 版本sudodockerrun hello-world  # 运行测试容器

1.4（可选）添加用户到 Docker 组（避免使用 sudo）

sudousermod-aGdocker$USERnewgrp docker# 重启终端或重新登录使生效

2. 拉取 Xinference 镜像

dockerpull xinference/xinference:latest  # 拉取最新版# 或指定版本，如 docker pull xinference/xinference:v0.3.0

3. 部署 Xinference 容器

3.1 创建目录结构（推荐）

mkdir-p~/xinference/{models,logs}

3.2 运行基础容器（CPU 版）

dockerrun -d\--namexinference \-p8080:8080 \# 映射 API 端口（宿主机 8080 → 容器 8080）-v~/xinference/models:/app/models \# 挂载模型目录-v~/xinference/logs:/app/logs \# 挂载日志目录-eAPI_HOST=0.0.0.0 \# 允许外部访问xinference/xinference:latest

3.3 查看容器日志（调试用）

dockerlogs -fxinference

4. GPU 加速部署（需 NVIDIA GPU）

4.1 安装 NVIDIA 驱动和容器工具

安装 NVIDIA 驱动（根据显卡型号选择版本）

# 自动安装推荐驱动sudoubuntu-drivers autoinstall# 或手动安装特定驱动（例如 NVIDIA 525）sudoaptinstallnvidia-driver-525 -ysudoreboot# 重启后验证驱动nvidia-smi   # 应显示 GPU 信息

安装 NVIDIA Container Toolkit

distribution=$(./etc/os-release;echo$ID$VERSION_ID)# 获取 Ubuntu 版本（如 ubuntu22.04）curl-s-Lhttps://nvidia.github.io/nvidia-docker/gpgkey |sudoapt-key add-curl-s-Lhttps://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list |sudotee/etc/apt/sources.list.d/nvidia-docker.listsudoapt-getupdatesudoapt-getinstall-ynvidia-docker2sudosystemctl restart docker

4.2 运行 GPU 容器

dockerrun -d\--namexinference-gpu \--gpusall \# 启用所有 GPU-p8080:8080 \-v~/xinference/models:/app/models \-v~/xinference/logs:/app/logs \xinference/xinference:latest

5. 验证部署

5.1 检查容器状态

dockerps-a|grepxinference# 确保容器状态为 "Up"

5.2 测试 API 接口

curlhttp://localhost:8080/ping# 应返回：{"status":"ok"}

5.3 调用模型（示例）

# 安装 requests 库pip install requests# Python 调用 APIimportrequestsresponse =requests.post("http://localhost:8080/api/v1/models",json={"model_name":"llama-30b"})print(response.json())

6. 高级配置

6.1 自定义配置文件

在 ~/xinference/config.toml中配置：

[api]host = "0.0.0.0"port = 8080log_level = "debug"  # 调试时使用[model]storage_path = "/app/models"

运行时挂载配置文件：

dockerrun -d\--namexinference \-v~/xinference/config.toml:/app/config.toml \... 其他参数 ...

7. 故障排除

7.1 常见问题及解决

8. 维护与更新

8.1 停止和删除容器

dockerstop xinferencedockerrmxinference

8.2 更新镜像

dockerpull xinference/xinference:latestdockerrun ...  # 重新启动容器

9. 扩展资源

• 官方文档：https://xinference.com/
• GitHub 仓库：https://github.com/xinference/xinference
• Ubuntu Docker 官方指南：https://docs.docker.com/engine/install/ubuntu/

通过以上步骤，您可以在 Ubuntu 系统上成功部署 Xinference，并通过 Docker 实现灵活的模型推理服务。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

为什么选择 Xinference