私有化部署 DeepSeek Dify,建立你的专属私人 AI 助手
2025-06-24 11:51:12
来源:新华网
私有化部署 DeepSeek + Dify,建立你的专属私人 AI 助手。
概述。
DeepSeek 开创性的开源大语言模型,凭借其先进的算法架构和反思链能力,为 AI 对话交互带来创新体验。通过私有化部署您可以完全控制数据安全和使用安全。还可以灵活调整部署方案,并实现方便的自定义系统。
Dify 作为同样的开源 AI 应用开发平台提供完整的私有化部署方案。本地部署 DeepSeek 服务无缝集成 Dify 平台,在确保数据隐私的前提下,企业可以,在当地服务器环境中建立强大的功能 AI 应用。
以下是私有化部署方案的优势:
- 性能卓越。:提供与商业模式相当的对话和互动体验。
- 环境隔离。:完全离线运行消除数据泄露的风险。
- 数据可控。:完全控制数据资产c;符合合规要求。
前置准备。
硬件环境:
- CPU >= 2 Core。
- 显存/RAM ≥ 16 GiB(推荐)
#xff1软件环境a;
- Docker。
- Docker Compose。
- Ollama。
- Dify 社区版。
开始部署。
1. 安装 Ollama。
Ollama 跨平台大模型管理客户端(MacOS、Windows、Linux),旨在无缝部署大型语言模型 (LLM),例如 DeepSeek、Llama、Mistral 等。Ollama 提供大模型一键部署所有使用数据将保存在本地机器中中c;提供数据隐私和安全的各个方面。
访问 Ollama 官网,按提示下载安装 Ollama 客户端。安装完成后在终端内运行。 ollama -v。
命令将输出版本号。
➜ ~ ollama。 -v。ollama version is。 0.5。.5。
根据实际环境配置,选择合适的 DeepSeek 部署尺寸模型。建议安装第一次安装 7B 尺寸模型。
运行命令。 ollama run deepseek-r1:7b。
安装 DeepSeek R1 模型。
2. 安装 Dify 社区版。
访问 Dify GitHub 项目地址完成拉取代码仓库和安装流程的下列命令。
git。clone https://github.com/langgenius/dify.git。cd。dify/docker。cp。.env.example .env。docker。compose up。 -d。# 如果版本是 Docker Compose V1,使用以下命令:docker-compose up -d。
运行命令后您应该看到所有容器的状态和端口映射。详情请参考 Docker Compose 部署。
Dify 默认使用社区版 80 端口,点击链接。 http://your_server_ip。
您可以访问您的私有化 Dify 平台。
3. 将 DeepSeek 接入至 Dify。
点击 Dify 平台右上角。头像 → 设置 → 模型供应商。,选择 Ollama,轻点“添加模型”。
在模型供应商内 DeepSeek 对应在线 API 服务;本地部署的 DeepSeek 模型对应 Ollama 客户端。请确保 DeepSeek 模型部署成功的原因 Ollama 客户端部署请参考上面的详细部署说明。
选择 LLM 模型类型。
- Model Name,填写具体部署的模型型号。上面部署的模型型号是 deepseek-r1 7b,因此填写。
deepseek-r1:7b。
- Base URL,填写 Ollama 客户端运行地址,通常为。
http://your_server_ip:11434。
。如遇连接问题阅读中常见的问题请阅读。 - 其它选项保持默认值。根据 DeepSeek #xff0模型说明模型说明c;最大生成长度为 32,768 Tokens。
搭建 AI 应用。
DeepSeek AI Chatbot(简单应用)#xfff0;
- 轻点 Dify "平台主页左侧;创建空白应用Ř,选择"聊天助手"类型应用和简单命名。
- 应用类型在右上角c;选择 Ollama 框架内的。
deepseek-r1:7b。
模型。
- 输入预览对话框中的内容,验证 AI 应用程序能否正常运行。生成答案意味着 AI 应用程序的构建已经完成。
- 点击右上角的发布按钮,获取 AI 应用程序链接并与他人共享或嵌入其他网站。
DeepSeek AI Chatflow / Workflow(先进应用)
Chatflow / Workflow 该应用程序可以帮助您构建更复杂的功能 AI 应用,例如,具有文件识别、图像识别、语音识别等能力。详情请参考工作流文件。
- 轻点 Dify "平台主页左侧;创建空白应用",选择"Chatflow" 或 “Workflow” 类型应用和简单命名。
- 添加 LLM 节点,选择 Ollama 框架内的。
deepseek-r1:7b。
模型,并在系统提示词中添加。{ 。{ #sys.query#}}。
连接起始节点的变量。如遇 API 异常,可通过负载平衡功能或异常处理节点进行处理。
- 添加完成配置的结束节点。您可以在预览框中输入内容进行测试。产生答案意味着 AI 应用程序的构建已经完成。
常见问题。
1. Docker 部署过程中的连接错误。
当使用 Docker 部署 Dify 和 Ollama 时,可能会遇到以下错误:
httpconnectionpool。(。host。=127.0。.0.1, port。=11434。)。: max retries exceeded with url:/cpi/chat。(。Caused by NewConnectionError。(。':fail to establish a new connection:[Errno 111] Connection refused'))。httpconnectionpool。(。host。=localhost, port。=11434。)。: max retries exceeded with url:/cpi/chat。(。Caused by NewConnectionError。(。':fail to establish a new connection:[Errno 111] Connection refused'))。
错误原因。:这个错误是因为 Ollama 服务在 Docker 无法访问容器。localhost 通常指向容器本身而不是主机或其他容器。要解决这个问题,#xff0c;需要将 Ollama 暴露在网络中的服务。
macOS #xff1环境配置方法a;
如果 Ollama 作为 macOS 应用运行需要使用 launchctl 设置环境变量:
通过调用。
launchctl setenv。
设置环境变量:launchctl setenv OLLAMA_HOST。 "0.0.0.0"
重启 Ollama 应用程序。
如果上述步骤无效可采用以下方法:
问题是在 docker 内部,您应该连接它。
host.docker.internal。
,才能访问 docker 主机,所以将。localhost。
替换为。host.docker.internal。
服务可以生效:http://host.docker.internal:11434。
Linux #xff1环境配置方法a;
如果 Ollama 作为 systemd 服务运行应该使用。 systemctl。
设置环境变量:
通过调用。
systemctl edit ollama.service。
编辑 systemd 服务。这将打开编辑器。每个环境变量,在。
[Service]。
在部分下添加一行。Environment。
:[Service]Environment="OLLAMA_HOST=0.0.0.0"
保存并退出。
重载。
systemd。
并重启 Ollama:systemctl daemon-reloadsystemctl restart ollama。
Windows #xff1环境配置方法a;
在 Windows 上,Ollama 继承您的用户和系统环境变量。
首先通过任务栏点击 Ollama 退出程序。
环境变量控制面板编辑系统。
编辑或创建您的用户账户的变量,比如。
OLLAMA_HOST。
、。OLLAMA_MODELS。
等。点击 OK / 应用保存。
运行在新的终端窗口。
ollama。
2. 如何修改 Ollama 服务地址和端口号?
Ollama 默认绑定。 127.0.0.1。
端口 11434,你可以通过。 OLLAMA_HOST。
绑定地址的环境变量变化。
- 作者:langgenius。
- https://github.com/langgenius/dify-docs/blob/main/zh_CN/learn-more/use-cases/private-ai-deepseek-dify.md。