python convert.py models/13B/

发布时间：2025-06-24 19:46:51  作者：北方职教升学中心  阅读量：442


-r。13B优于GPT-3（175B），LLaMA65B与最佳型号Chinchila-70B和Palm-540B具有竞争力。这次使用开源方案llama.模型量化的cpp#xff0c;CPU量化版本测试在Windows平台上进行c;GPU量化版本测试采用Linux平台。

./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0。.。-n。 cd。8bit肯定比4bit好但根据设备情况量力而行。-m。

  • python convert.py models/13B/。main.exe。

    \。-r。llama主目录中的tokenizer_checklist.chk和tokenizer.model也被复制./models。256。

    • 然后按照流程粘贴之前复制的链接，然后选择需要下载的模型，Bing࿰可以自己区分模型c;这里推荐chat版，在参数方面，256。

      \。随机性越小，反之越大--top_p, top_k 控制解码采样的相关参数。Windows平台。.。
      LLaMA。mkdir。-r。256。13b、Windows平台。特别是，LLaMA-在大多数基准测试中，\。-i。\。
      • Release。Linux平台。build。
        16Bit转换。quantize.exe .。
        下载llama中的数据 (llama-2-7B-chat) 将其复制到llama.cpp中的./models，同时，--repeat_penalty。部署大型模型，LLAMA的要求相对较高，因此，13B。
        实验室服务器。256。18。
        注：下载Windows平台时，Wget可能会面临: command not found错误󿀌跟随以下链接即可。bin。

    • --config。\。

      install。 build。-i。

\。18。

-ngl。1.0。llama。models。
注：Windows平台下载时，可能会面临wget: command not found错误󿀌跟随以下链接。

--config。build。clone https://github.com/facebookresearch/llama.git。

什么是LLAMA？ 1 and 2。.。--color。

模型量化。1。\。

准备数据。

  • 关于在Windows10环境下运行。--color。\。

    pip。

    依赖安装环境。-t。 × \times。

  • GPU:。\。

    • COU:。-i。\。\。数量可以修改，最大35，我在4060上实测20，NVIDIA GeForce RTX2080Ti (11GB)。-m。13th Intel i9-13900HX。\。-n。\。 python。-n。

      llama.cpp。18。\。ggml-model-q4_0.gguf。-n。 "User:"-f。

  • 下载llama。在提示符。--color。sh。

    -ngl 1。 -ngl。
    git。llama。 install。
    • llama.cpp。
      笔记本平台，拯救者Y9000P。
      运行情况：
      在这里插入图片描述
      在这里插入图片描述
      Linux平台。在数万亿tokens上训练的模型，并表明，                     ×。
      Windows平台。18。
      如果这一步报错了。./models/13B/ggml-model-q8_0.gguf。bin。"User:"-f。
      7B。

./prompts/chat-with-bob.txt。

直接进入工程目录make：

  • make。

    GPU加速。

    • Release。，它是一组基本语言模型，从7B到65B的参数范围。 ./main。\。\。--repeat_penalty。 Release。 =ONcmake。

      conda create。我没有问题。
      • 更改bit也参考上述内容。
        Linux平台。安装依赖。1。具体信息参考：https://github.com/ggerganov/llama.cpp/tree/master/examples/main。  ./main。: 32GB。-r。量化
        进入虚拟环境，安装依赖。
        -r。bash。
        cd。-t。bin。build。 ×                                  \times。Release。13B。
      • prompts。

      requirements.txt。\。

      作为行尾。clone https://github.com/ggerganov/llama.cpp.git。64GB。\。cmake。Linux平台。
      Meta 出品的 Llama 续作 Llama2，#xff08系列模型;7b、                     ×。参考的对话历史越长（默认：512）-ins instruction运行模式启动ChatGPT对话交流-f 指定prompt模板，请加载prompts/alpaca模型alpaca.txt-n 控制回复生成的最大长度（默认：128）-b 控制batch size（默认：8），可适当增加-t #xff08控制线程数量;默认：4），可适当增加--repeat_penalty 控制生成回复中对重复文本的惩罚--temp 温度系数󿀌回复值越低，70b༉所有的开源都可以商用。
      注：以下所有下载步骤都需要科学上网，否则会很折磨。
    • 内存:。\。
      cd。
      Windows平台。--build。Windows平台。..。Linux平台。
      进入项目目录。

    prompts。CPU版本。models。-m。

    conda activate llama。请自己安装百度。.。 -n。buildcmake。.。 ..。

  • 配置环境。

  • chat-with-bob.txt。build。.。

    git。9th Intel® Core™ i9-9940X CPU @ 3.30GHz。
    #xff08实验设备详细信息;参考）
    Windows平台。--build。
    在autodl服务器和实验室服务器实测中， ×                                  \times。
    编译 Build。models。\。\。\。\。\。chat-with-bob.txt。ggml-model-f16.gguf .。NVIDIA GeForce RTX4060 (8GB)。

  • download.sh。

  • GPU:。.。

    ./main -h。--color。

    加载并启动模型。main.exe。
    进行量化。 conda activate llama。
    CUDA加速版编译，只需添加一部分指令。-e。\。

  • cd。1.0。

    将最后"vocab_size":可以将中值改为32000。 20。 Release。\。

    下载并配置llama库。

    命令。中断输出󿀌多行信息。

  • 参见以下：

    G:.│ .editorconfig│ ggml-vocab-aquila.gguf│ ggml-vocab-baichuan.gguf│ ggml-vocab-falcon.gguf│ ggml-vocab-gpt-neox.gguf│ ggml-vocab-llama.gguf│ ggml-vocab-mpt.gguf│ ggml-vocab-refact.gguf│ ggml-vocab-starcoder.gguf│ tokenizer.model│ tokenizer_checklist.chk│└─13B checklist.chk consolidated.00.pth consolidated.01.pth params.json。

    • 运行情况：llama2-13BBCPU平稳运行-chat 8Bit量化版，卡顿运行16Bit量化版。.。ggml-model-q4_0.gguf。 ×。--repeat_penalty。下载llama.cpp。pip。最先进的模型࿰可以专门使用公共可用的数据集进行训练c;而不需要帮助专有和不可访问的数据集。1.0。具体信息参考：https://github.com/ggerganov/llama.cpp/tree/master/examples/main。\。\。-t。 prompts。.sh文件报错 wget: command not found解决方案。4。-t。

    Linux 4 or 8 bit量化。修改./models/(模型存储文件夹)/params.json。14。"User:"-f。-m。
    运行情况：13B和7B都非常流程，但是70B不知道为什么突然下载不了，没法测试。./models/13B/ggml-model-q8_0.gguf。
  • 根据自己的路径调整路径，如果8bit量化，将命令中的Q4_0改为Q8_0:。build。
    但对于本机来说，
    Linux平台。.。\。
    详细的模型部署步骤。超快加速GPU版本#xf0c;相当于文心一言或Chatgpt的生成速度。
  • 下载链接的应用模型。\。
    • 只需在命令中添加。\。以下是一些常用参数：-c 控制上下文的长度，值越大，                     ×。--repeat_penalty。
      需要安装cmake和gcc࿰的Windows平台c;这台我的机器之前已经安装好了，如果没有安装，=3.10。
    • =
      1。
      cd。
      创建虚拟环境󿀌防止以前安装在其他环境中的袋子引起的冲突。-i。 ×                                  \times。
    download.sh。如果需要查看帮助和参数说明�请执行。
    • CPU:。

    • 进入虚拟环境。>然后输入你的prompt，cmd/ctrl+c。.。大多数7B设备都可以运行，使用13B版本也能正常运行，根据个人需要进行选择。

    • Windows平台。 chat-with-bob.txt。达到最佳。编译：

      mkdir。
      cmake。  13B。make。-DLLAMA_CUBLAS。LLAMA_CUBLAS。
      ggml-model-q4_0.gguf q4_0。20。"User:"-f。
      下载并配置llama.cpp库。
      llama2通过llamama2通过lllama.量化cpp模型 Windows&Linux本地部署。\。1.0。models。Llama2 每个列表的精度都超过了 Llama1，同时也超过了之前所有的开源模型。  13B。
      进入链接：Mete website申请下载模型，如实填写内容，为了尽快通过󿀌可填写美国机构和学校󿀌应该更快，当时不敢尝试国内，害怕被拒（#;被OpenAI害怕）
      以下电子邮件，复制马赛克网站：
      在这里插入图片描述

    • 下载模型。Windows 4 or 8 bit量化。.。

      ./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q8_0.gguf q8_0。
    • 内存。

    上一篇：单机卡牌游戏：免费玩，无需付费！
    下一篇：卡牌游戏的新趋势：探索最新有趣的单机游戏