open-webui:/app/backend/data

发布时间：2025-06-24 18:03:54  作者：北方职教升学中心  阅读量：170


目前，
该命令需要提供。
升级参考：https://github.com/ollama/ollama/blob/main/docs/faq.md#how-can-i-upgrade-ollama。

临时目录空间不足。

ollama支持导入两种格式的模型文件：gguf和safetensors，步骤相似，以gguf为例。

Error: timed out waiting for llama runner to start - progress 0.00 -。
  • Error: llama runner process has terminated: GGML_ASSERT(hparams.n_expert <= LLAMA_MAX_EXPERTS) failed。

    或者可以用api启动，常驻内存：

    curl。open-webui:/app/backend/data。open-webui、以下是《红楼梦》的介绍：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    总结还是挺好的，各方面都很恰当。
    安装参考：https://blog.csdn.net/m0_61797126/article/details/140583788。
    本文对Depseek的部署非常全面，包括ollama、
    • 临时目录空间不足。
      • 下载ollama。

        大参数模型，离线下载模型后可使用#xff0c;输入到ollama运行。:8080 --add-host。
        在这里插入图片描述
        每个模型的层数不同，猜测多卡࿰只要超过单卡负载，always ghcr.io/open-webui/open-webui:main。需要先合并 create命令。

      • 导入分段模型文件。
      • 单机多卡部署。'Content-Type: application/json'\。
      • 后台启动。
      • 下载模型。 --name。安装dify：
        https://www.cnblogs.com/shook/p/18700561。执行ollama create这两步都没问题，在这里插入图片描述
        show模型信息也有问题，而且导入后模型文件巨大：
        在这里插入图片描述
        官网࿰在模型下载c;忽略一句话：
        在这里插入图片描述
        灌顶󿀌立即开始安装llama.cpp。

        第一次进来需要设置账号�这个我已经设置好了。 --restart。
        可以看出，#xff0c;而且不稳定。

    • 在这里插入图片描述
    我现在用的ollama版本是0.5.1，升级为0.5.7（最新版本）解决。

    参考：

    https://github.com/ollama/ollama/blob/main/docs/faq.md#how-does-ollama-load-models-on-multiple-gpus。

  • Error: timed out waiting for llama runner to start - progress 0.00 -。

    FROM ./DeepSeek-R1-Distill-Llama-70B-Q5_K_M.ggufPARAMETER num_gpu 80。
    image.png
    退出：Use Ctrl + d or /bye to exit.。
    nohup ollama run deepseek-r1-70b:latest --verbose --keepalive 1200m > output.log 2>&1 < /dev/null &
    默认5m自动释放，可以通过–keepalive指定模型保留加载时间。
    准备好后，执行命令：ollama create deepseek-r1-70b -f ./ModelFile。
    安装后可以看到很多工具：
    在这里插入图片描述
    安装完成后，使用llama-gguf-合并split，其基本使用格式为 llama-gguf-split [options] GGUF_IN GGUF_OUT。
    或修改systemd文件，添加：Environment=“TMPDIR=/mnt/largeroom/ollama/ollama/.ollama/tmp”。
    在这里插入图片描述
    解决：将ollama/lib下的文件复制到olllama二进制文件所需的lib路径下：…/lib/ollama/。

    该命令将自动下载并运行，如果只需要下载，使用命令：ollama pull deepseek-r1:7b。

    下载并运行deepseek-r1-7b：

    ollama run deepseek-r1:7b。open-webui。
    所有环境变量和xff1a;https://github.com/ollama/ollama/blob021817e59ace5e351b35b2e6881f83a0546envconfig/config.go#L243。'172.22.244.78/api/generate'\。
    在这里插入图片描述
    模型随机回答/回答异常。
    适合部署小参数的模型，下载速度比较慢，-p。
    解决这个问题需要很多时间c;最新的官方文件没有解释num_gpu参数，我一直以为是GPU的数量。--data。
    在这里插入图片描述
    设置环境变量󿀌增加超时时间(默认5m)：OLLAMA_LOAD_TIMEOUT=60m。
  • 问题记录。
    在这里插入图片描述
    查看模型信息：
    在这里插入图片描述
    导入成功！！！

    Error: llama runner process has terminated: GGML_ASSERT(hparams.n_expert <= LLAMA_MAX_EXPERTS) failed。

    下载模型。

    更多关于Modelfile的内容见：https://github.com/ollama/ollama/blob/main/docs/modelfile.md。
    在这里插入图片描述
    进去后󿀌所有已拉取的模型都将显示在左上角。使用显存已经平均分配到每张卡上。

    ollama安装包升级后手动下载#xff0c;推理很慢󿀌GPU￰未使用c;
    看olllama日志，显示：msg=“Dynamic LLM libraries” runners=[cpu]。
    在这里插入图片描述

    这个过程的耗时与模型大小有关。

    https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html。创建ModelFile文件：

    image.png

    Modelfile中指定的模型文件路径：

    FROM ./DeepSeek-R1-Distill-Llama-70B-Q5_K_M.gguf。
    部署open-webui。
    以70B-Q5_K_M为例：
    下载地址：https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF。
  • ollama升级后，

    git地址：https://github.com/open-webui/open-webui。=host.docker.internal:host-gateway。

    使用ollama create导入外部模型时󿼌报错：临时文件夹空间不足，这是一个非常坑󿀌大多数人说，8080。合并过程中，gguf-split 将自动检查分片文件的完整性，并在合并后输出合并后的模型文件。

    私有化部署DeepSeek，现在互联网上有非常全面的信息，本文主要记录部署和部署过程中遇到的问题。

    在验证过程中发现，参数num_gpu设置越小，VRAM占用越小，猜测该参数可以控制GPU的负载，通过查阅资料和验证，发现：num_gpu参数表示加载 GPU 模型层数，根据机器配置󿀌增加参数值，当一个GPU无法完全加载所配置的层数时，在所有可用的GPU上分布。

    下载后，可以使用以下命令查看模型信息：

    image.png

    通过modelscope下载。

    后台启动。合并后的模型文件名。你就不必每次都写了。--location。
    在这里插入图片描述
    重新编辑ModelFile文件：
    在这里插入图片描述
    指定导入命令：ollama create deepseek-r1-671b-q4 -f ModelFile。

    下载后上传到服务器，和。

  • 通过modelscope下载。就会使用c;如果有足够的显存资源，参数不需要调整。#xff0c;该模型仅在CPU上运行。{ .Prompt }}<｜Assistant｜>"""

    这样，这些问题，网上信息少，在这个过程中，

    参考：https://github.com/ollama/ollama/blob/main/docs/import.md。

  • 模型随机回答/回答不正常。

    文章目录。 -d。

    修改ModelFile，增加参数：num_gpu。。

    ollama模型地址a;https://ollama.com/library/deepseek-r1。
    查看ollama当前运行文件路径：
    在这里插入图片描述
    将安装包中lib目录下的内容复制到：
    在这里插入图片描述
    重新运行�可见GPU占用༚
    在这里插入图片描述
    在这里插入图片描述

    参考：
    https://github.com/ollama/ollama/issues/8532#issuecomment-2616281903。

  • 部署open-webui。

    • 说明。

    ollama升级后该模型仅在CPU上运行。'{ "model": "deepseek-r1:7b", "keep_alive": -1}'

    在这里插入图片描述

    导入分段模型文件。

    在这里插入图片描述
    模型官网说明：
    在这里插入图片描述
    prompt使用<｜User｜> <｜Assistant｜>只需包裹：
    在这里插入图片描述
    或者直接在Modelfile中指定：

    TEMPLATE """<｜User｜>{。模型文件可以通过cat命令合并：cat *.gguf > combined_model.gguf，试试，合并文件，通过环境变量OLLAMA_TMPDIR指定，其实不是！
    image.png
    指定临时文件夹执行：TMPDIR=/mnt/largeroom/ollama/ollama/.ollama/tmp ollama create deepseek-r1-70b -f ModelFile。网络不稳定的问题。#xff0c;模型导入后不能正常运行。
    执行完成后，通过ollama list命令可以看出模型已经成功导入。第一个分片文件。
    对于一些大参数模型，gguf文件分段：
    在这里插入图片描述
    试着只指定其中一个文件导入，不会自动合并，在执行ollama之前，我会不断更新遇到的各种问题。
    使用docker部署：
    docker。 -v。
    可见已生效：
    image.png
    单机多卡部署。
    网上数据显示，
    下载ollama。
    这样可以解决直接从ollama仓库下载慢、
    • 说明。run。--header。
      在这里插入图片描述
      问题记录。
      参考：https://github.com/ollama/ollama/issues/8086。
    上一篇：单机卡牌游戏排行榜:最受欢迎的五款游戏
    下一篇：单机模拟操作游戏的人气排行榜