接下来配置ollama模型

发布时间:2025-06-24 20:17:53  作者:北方职教升学中心  阅读量:377


cf6340a8c09a6eb0607ce84b939d017.png

接下来配置ollama模型。

若 Dify 为 docker 部署,建议填写局域网 IP 地址,如:

http://192.168.1.100:11434。复制保留的二级子域名地址:登录cpolar web UI管理界面,点击左侧仪表板的隧道管理-隧道列表,找到要配置的隧道,点击右侧。

  • Sub Domain:填写保留成功的二级子域名。

    -fsSL https://ollama.com/install.sh。输入下面的命令。

    http://localhost:11434。|。 sudo。打开一个新的终端,安装ollama,模型管理、

    17d5eae6a0e47134be90813662d9da6.png

    http://localhost:11434。docker compose。

    bf99bb247c6823c75016d2b9e135bd1.png

    可以看到进入Dify主界面。编辑。多人使用,如果在异地使用其他设备,="OLLAMA_HOST=0.0.0.0"保存并退出。

    最大 token 上限:

  • 4096。如果有长期远程访问 Dify开发应用平台或其他本地部署的服务需求,但是我不想每天重新配置公网地址,还想好好记住地址#xff0c;然后我建议您选择使用固定的二次子域名进行远程访问。,不需要云服务器󿀌还可实现异地其他设备登录!以上是如何在本地安装Dify并构建Ollama的全过程。

    • 修改隧道信息󿀌在隧道中配置成功的二级子域名。结合直观界面 AI 工作流、.env.example .env。

    • [Service]。Docker Compose 1.25.1或更高版本。

      1. Dify应用开发平台本地部署

      本文安装环境:Linux Ubuntu22.04

      使用Docker compose部署#xff1a;Docker 19.03 或更高的版本,基础 URL:

    • http://<本机IP地址>:11434。]。

      cpolar官网地址: https://www.cpolar.com。

      运行命令后󿀌您应该看到以下类似的输出,#xff1显示所有容器的状态和端口映射a;

      b5c21e5aebb987f1055b46990f9e04a.png

      最后,Environment。 每个环境变量,在。

      复制环境配置文件。

      llava。sh。如果本地源码部署,可填写。

      • 4.1 创建远程连接公网地址
    • 5. 固定Dify公网地址
  • 前言

    本文介绍了如何将Dify本地私有化部署󿀌接入Ollama部署本地模型,LLM࿰在当地环境中的部署和管理c;结合cpolar内网渗透,可以看到进入Dify。因此,管理和部署 AI 应用程序。但是,它的缺点是网站是随机生成的,该地址将在24小时内随机变化,更适合临时使用。

  • 4. 公共网络远程使用Dify。通过Cpolarar 我们可以轻松实现远程访问,

    systemctl。

    小结。我们在本机上部署了Dify,还添加了Ollama大模型,如果你想团队合作,打开左侧在线隧道列表,

    是否支持 Vision:

  • 是。单击左侧仪表板的隧道管理-创建隧道:

  • 隧道名称:可自定义�本例使用: dify 注意不要与现有隧道名称重复。

    安装Dify前,请确保您的机器符合最低安装要求:CPU>2 Core RAM>=4GB。

    https://get.cpolar.sh。

    image.png

    目前,RAG 管道、 ps。这将打开编辑器。

    image.png

    在文本框中编辑文本进行对话。

    4. Dify远程用于公网。【cpolar.cn已备案】。

    在Linux安装Cpolar内网穿透工具,

    这种随机地址的优点是建立速度快,可立即使用。用户名、
    在这里插入图片描述
    [视频教程]。 访问。您可以看到两个公共网站地址࿰刚刚通过创建隧道生成c;接下来,

    curl。

    3af490763677db757ec7b147a947ced.png

    ollama run llava。

    点击填入:

    7cfcff463b949cc043836214a500cd1.png

    模型名称:

    c165ddbc25709eb89ff478031b562ad.png

    • llava。在部分下添加一行。

      Dify 它是一个开源 LLM 应用开发平台。

      463706456a7806bb596036ec151044a.png

      更新。

      82274f0c737fed53d9b60a375935c82.png

      更新完成后󿀌打开在线隧道列表,此时可以看到随机公网地址发生了变化,地址名称也变成了保留和固定的二级子域名称。

      Dify+Ollama+llava大模型本地建立个人人工智能知识库,

    • Service。|。[。

    • 地址:80。clone https://github.com/langgenius/dify.git。接下来,

      1. sudo vim /etc/systemd/system/ollama.service。

        • 登录cpolar web UI管理界面后,实现Dify的公网访问。这里需要填写可访问的信息 Ollama 服务地址。dify/docker。#xff1模型类型a;

        • 对话。我们使用了cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。 sh。可观察功能等,它可以从原型快速发展到生产。回到Dify,接入Olllama模型。

        如果Ollama作为systemd服务运行󿀌应该使用。检查所有容器是否正常运行:

        sudo。选择聊天助手󿀌起一个名字󿀌点击。

        fe72be4b9c350c2fb34cdfb88e49320.png
        登录cpolar官网,点击左侧预留,选择保留二级子域名󿀌china选择区域 vip top,然后设置一个二级子域名称,填写备注信息󿀌点击保留。llava模型选择在右上角。

        需要注意的是,

        cp。重启Ollama:systemctl daemon-reloadsystemctl restart ollama。您可以在其他计算机上(异地)上,在浏览器中访问任何地址。

        Ollama 本地推理框架,允许开发人员在当地轻松部署和运行 LLM,例如 Llama 3、docker compose up -d。

        克隆 Dify 源代码到当地环境:

        git。

        2. 使用Ollama部署本地模型。我们可以配置二级子域名,该地址为固定地址,不会随机变化.。

        image.png

        创建。正常启动)

        image-20240801132238671

        sudo。

        成功启动后󰀌ollama 在本地 11434 一个端口启动了 API 服务,可通过。代理功能、

        bb5906f2d50520ec228aa78b1b8b859.png

        如下图所示,密码后,再次登录。

    e236629c30c2161232c1655493d22ad.png

    区域:选择China Top。登录后可以看到Cpolar web 配置界面,接下来在web 界面配置可以:

    image.png

    4.1 创建远程连接公网地址。cpolar套餐需要升级到基本套餐或以上,而且每个套餐对应的带宽都不一样。

    然后打开新的浏览器,输入localhostt输入localhost:80,或者IP地址:80,

    abe8c7201aca664a20a8ac320236595.png

    创建成功后,

    用一键脚本安装命令。

    systemd。

    5. 固定Dify公网地址。

    如果长期远程访问本地,

    image.png

    接下来教大家如何安装Cpolar,

  • 域名类型:随机域名。安装完成后,执行以下命令,

    systemctl status cpolar。

    文章目录

      • 前言。

        image-20240801133735424

        登录cpolar web UI管理界面后,

      地区: China VIP。

      dify主界面,点击右上角的个人名称圈󿀌单击设置-模型供应商——Ollama。

      716e588c46dc002fbcaf4f556bba84b.png

      设置管理员账号:填写邮箱、需要结合Cpolar内网渗透实现公网访问,免去复杂的本地部署过程,直接进入Dify只需要一个公网地址。

      sudo。

      启动 Docker 容器。Environment。最大的模型返回内容 token 数量,如果模型没有特别说明󿀌可与模型上下文长度保持一致。

    b08321f6a77d4bfaf93954b583972f8.png

    启动Dify:

    进入 Dify 源代码的 Docker 目录。点击 “保存” 在应用程序中可以使用该模型进行验证。最大上下文长度,如果不清楚,

  • 1. Dify应用开发平台本地部署
  • 2. 使用Ollama部署本地模型
  • 3. Olllama大语言模型在Dify中连接。

    cpolar创建的隧道使用随机公网地址,24小时内随机变化,不利于长期远程访问。

    curl。实现公网远程访问Dify。当模型支持图片理解(多模态)#xff0;勾选此项�如。

    DIFy将在当地部署。

  • 协议:http。以下是安装cpolar的步骤。点击。查看cpolar服务状态:(如图所示,而无需注册域名购买云服务器。您可以随时随地使用Dify开发应用程序平台进行远程公网,与周围的人分享固定的公共网站地址,方便团队合作󿀌同时也大大提高了工作效率!如果你自己用,Cpolar安装和成功启动服务后,将ubuntu主机IP加9200端口输入浏览器即:【http://localhost:访问Cpolar管理界面,用Cpolar官网注册的账号登录,

    image.png

    重载。

    创建空白应用程序。Dify 是一个 AI 应用开发平台󿀌提供一套完整的工具和 API,用于构建、设置环境变量:通过调用。可以填写默认值 4096。

    b732329ece62fdbbd63c7a18fb2f524.png

    保留成功后,运行 Ollama 并与 Llava 聊天。或 docker 宿主机 IP 地址,如:http://172.17.0.1:11434。实现远程访问。模型上下文长度:

  • 4096。

    为了方便演示󿀌在上述操作过程中,

    cd。

    然后回到主页,点击。编辑systemd服务。Mistral 和 Gemma。#xff00c;Dify应用开发平台!成功使用公网地址远程访问本地部署;

    383e7bb875af096a04e14da924aeec3.png

    登录可以看到也进入了主界面,继续使用自己创建的应用程序。

    接下来,

  • 域名类型:选择二级子域名。

    5315f47a37dae1b8a7663b1d1d64ba6.png

    e7ff73577b4f9266a4fba38ded512d3.png

    最后,我们使用固定的公网地址访问 Dify 界面可以看到成功的访问󿀌设置永久不会改变的远程访问模式。

    。单击左侧仪表板的隧道管理-创建隧道:

    隧道名称:可自定义�本例使用: dify 注意不要与现有的隧道名称重复。

    image.png

    3. Olllama大语言模型接入Dify。