您现在的位置是:本地化部署DeepSeek:三步完成,让你的AI体验更加稳定 >>正文

本地化部署DeepSeek:三步完成,让你的AI体验更加稳定

德薄能鲜网65人已围观

简介最近,Deepseek的访问存在不稳定的问题,有效的解决方案是本地化部署。本地化部署不仅可以避免网络波动的影响,它还可以提供更高的隐私保护和数据安全性。#xf...

最近,Deepseek的访问存在不稳定的问题,有效的解决方案是本地化部署。本地化部署不仅可以避免网络波动的影响,它还可以提供更高的隐私保护和数据安全性。#xff0通过本地化部署c;用户可以在自己的设备上运行DeepSek模型,不依赖外部网络连接󿀌实现更稳定、更可靠的使用体验。

今日,乐天尝试本地化部署,并分享自己的经历。

一、安装ollama。


Ollama 是一种开源本地化工具,旨在简化大型语言模型(LLMs)本地运行和部署。它专注于让用户在个人电脑或服务器上轻松运行各种开源语言大模型(比如deepseek ,qwen,Llama、Mistral、Gemma等),不依赖云服务或复杂的配置流程。

网站:https://ollama.com/。

进入ollama 官网,您可以看到以下界面,然后点击下载按钮󿀌下载相应系统的版本,Windows使用这里的乐天 版本。

下载安装文件后,获得一个 .exe 最终执行文件,双击执行󿀌ollama的安装可以完成。

注释:乐天下载的ollama版,根据目录选项࿰没有修改安装过程c;C盘只能默认安装。后续的模型安装也需要很大的空间,需要预留足够的空间༌建议至少10GB。

安装完成后,ollama 会自动启动。

打开命令提示符,可通过按下 Win+R 键,输入 “cmd” 按下回车键,或者在开始菜单中搜索 “命令提示符” 来打开。

输入命令在命令提示符中查看ollama版本#xff0c;看到这样的回复,就说明 ollama 正常安装。

二、安装 DeepSeek-R1 模型。


1、找到模型。

搜索框࿰在olllama官网首页c;点击可以看到deepseek-r1的第一位置,同时也可以看到模型根据参数分为1.5b,7b,8b,14b,32b,70b,671b等,不同的模型有不同的参数,操作所需的内存和显存也有所不同。 我们需要根据自己的计算机选择下载相应参数的模型。

2、根据本机配置选择模型。

怎样才能确定哪个模型适合?#xff0c;可以使用人工智能查询作为参考。

我结合当地电脑的配置,根据AI的建议,选择了 7b 模型。

3、安装模型。

不同的模型有不同的安装命令,以下参考如下:

找到自己选择的模型,复制安装命令 ,然后安装。

在命令提示符中,输入复制的安装命令,然后回车。

安装命令执行后根据所选模型的大小和网络速度,安装完成大约需要十分钟。看到命令提示符 success 字样,说明安装成功。

然后在命令提示符后输入您的问题,就可以和 DeepSeek 互动。

但仅在本地部署模型,与模型交互#xff00c;没有网络查询功能。

同时,与模型对话󿀌默认情况下,只能在命令行提问,互动体验并不友好。可以再安装 Chatbox AI,这是一种图形工具,专门用于与各种模型语言对话。

三、Chatbox安装配置 AI。


1、安装 Chatbox AI。

Chatbox AI 图形化工具࿰专门用于与各种语言模型对话c;界面友好。

我们访问 [Chatbox AI 官网(];https://chatboxai.app/zh),点击下载系统对应的版本。

下载后得到一个 .exe 最后的执行文件,安装时双击执行。

安装后,默认会打开 Chatbox AI 软件。

2、配置 Chatbox AI。

点击 Chatbox 设置软件左下角的按钮,以下配置依次在“模型”选项卡中进行。

  • 模型提供商:选择 “Ollama API”。

  • API域名:填写http://localhost:11434,这是 Ollama 默认端口。

  • 模型名称:填写和部署 DeepSeek 模型版严格一致的名称,如deepseek-r1:7b。

可在“对话”选项卡中设置用户头像、机器人助手头像、新对话默认升级。

设置完毕󿀌点击 只需保存按钮即可。

3、测试。

下一步,点击左侧的“新对话”,新的对话框࿰将自动建立c;就像微信聊天一样󿀌你可以和机器人助手交谈。

例如,我输入 “给我一个北京春节三日游”,得到以下答案,流畅的体验。

经过一系列操作,我们在当地成功地完成了 DeepSeek-R1 模型的部署。现在,再搭配上交互界面友好的客户端,你可以打开轻松愉快的开口 DeepSeek 模型体验之旅,享受高效智能的对话服务。

如果你认为这篇文章很好󿀌欢迎一键三连,你的支持是我更新的巨大动力。

如何系统地学习大模型LLM? ?

大模型时代�流行的LLM模型让程序员重新评估他们的技能。 “。人工智能将取代这些行业。?”“。谁的饭碗又不保了?等问题热议不断。

事实上,抢你饭碗的不是AI,但是会使用AI的人。

继。科大讯飞,阿里,华为。人工智能产品发布后等巨头公司󿀌许多中小企业也纷纷进入!超高年薪,人工智能大模型人才挖掘#xff01;现在大厂老板,也更倾向于会AI的人,普通程序员󿀌还有机会应对吗?

与其焦虑....

不如成为「。掌握AI工具的技术人员。」,毕竟人工智能时代󿀌谁先试试#xff00c;谁能抓住机会!

但与LLM相关的内容有很多,现在网上关于LLM的老课程老教材太少了。所以现在小白只能靠自学,学习成本和门槛都很高。

所有遇到自学困难的学生,我帮大家系统梳理大模型学习脉络󿀌将这份。 LLM大模型数据。分享:包括。LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程。等, 😝有需要的小伙伴,可以。 扫描下面的二维码。#x1f1933;↓↓↓。

👉CSDN礼包。🎁:全网最完整的LLM大模型入门+免费共享高级学习资源包。(安全链接�放心点击)#;👈

在这里插入图片描述

一、LLM大模型经典书籍。

AI大模型已成为当今科技领域的热点,以下大型书籍是非常好的学习资源。

在这里插入图片描述

二、LLM大型型号640套报告集。

这个集合包含640份报告,它涵盖了理论研究、技术实现、行业应用等多个方面。无论你是研究人员,工程师࿰,c;还是对AI大模型感兴趣的爱好者,本报告集将为您提供有价值的信息和启示。(几乎涵盖所有行业)。

在这里插入图片描述

LLM大模型系列视频教程。

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线。 ↓。

阶段1:人工智能大模型时代的基本理解。

  • 目标。:了解人工智能大模型的基本概念、发展过程和核心原理。

  • 内容。

    • L1.1 简述人工智能和大模型的起源。
    • L1.2 大模型和通用人工智能。
    • L1.3 GPT模型的发展过程。
    • L1.4 模型工程。
    • L1.4.1 知识大模型。
    • L1.4.2 生产大模型。
    • L1.4.3 模型工程方法论。
    • L1.4.4 模型工程实践。
    • L1.5 GPT应用案例。

阶段2:AI大模型API应用开发项目。

  • 目标。:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容。

    • L2.1 API接口。
    • L2.1.1 OpenAI API接口。
    • L2.1.2 Python接口接入。
    • L2.1.3 BOT工具框架。
    • L2.1.4 代码示例。
    • L2.2 Prompt框架。
    • L2.3 流水线工程。
    • L2.4 总结和展望。

阶段3:AI大模型应用架构实践。

  • 目标。:深入了解AI大模型的应用架构,并且可以进行私有化部署。

  • 内容。

    • L3.1 Agent模型框架。
    • L3.2 MetaGPT。
    • L3.3 ChatGLM。
    • L3.4 LLAMA。
    • L3.5 介绍其它大模型。

阶段4:AI大模型私有化部署。

  • 目标。:掌握各种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容。

    • L4.1 模型私有化部署概述。
    • L4.2 模型私有化部署的关键技术。
    • L4.3 实施模型私有化部署的步骤。
    • L4.4 模型私有化部署的应用场景。

这份。 LLM大模型数据。包括。LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程。等, 😝有需要的小伙伴,可以。 扫描下面的二维码。#x1f1933;↓↓↓。

👉CSDN礼包。🎁:全网最完整的LLM大模型入门+免费共享高级学习资源包。(安全链接�放心点击)#;👈

在这里插入图片描述

Tags:

相关文章



友情链接