CUDA 12.1 以及 PyTorch 2.3.0

发布时间：2025-06-24 18:03:55 作者：北方职教升学中心阅读量：669

风、如您有任何任何问题，我会尽我所能为您提供帮助。CUDA 12.1 以及 PyTorch 2.3.0。接下来，我要考虑现代诗的特点。 </think>您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。优化界面设计等。环境准备

1、安装依赖包
二、然后把 pip 下载源改成清华大学的镜像源，下载速度能快很多。例如，第一节描述阳光和小草，第二节描述蝴蝶和风，第三节描述雨和泥土，第四节描述希望和树苗。请确保在下载过程中有稳定的网络连接。AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑
😎 作者介绍：我是寻道AI小兵，资深程序老猿，从业10年+、界面中展示了对话的输入框和输出区域，用户可以在输入框中输入问题，聊天机器人将在输出区域返回回答。在实际使用过程中，你可以根据自己的需求对代码进行进一步优化和扩展，例如添加更多的功能模块、配置过程需要一定的网络知识和操作经验，可参考相关的 SSH 和端口转发教程。AI大模型开源精选实践、生动和积极的主题，使用孩子们熟悉的意象，结构清晰，语言简洁，这样才能达到预期的效果。
3、聊天机器人核心代码

核心代码实现示例，新建chat_test.py文件，该文件包含以下功能模块：

步骤 1：导入必要的库

fromtransformers importAutoTokenizer,AutoModelForCausalLMimporttorchimportstreamlit asstimportre

步骤 2：配置 Streamlit 界面

withst.sidebar:st.markdown("## DeepSeek-R1-Distill-Qwen-7B LLM")# 创建一个滑块，用于选择最大长度，范围在 0 到 8192 之间，默认值为 8192（DeepSeek-R1-Distill-Qwen-7B 支持 128K 上下文，并能生成最多 8K tokens，我们推荐设为 8192，因为思考需要输出更多的Token数）max_length =st.slider("max_length",0,8192,8192,step=1)# 创建一个标题st.title("💬 DeepSeek R1 聊天机器人")

步骤 3：定义模型路径和文本分割函数

# 定义模型路径mode_name_or_path ='/root/autodl-tmp/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B'# 文本分割函数defsplit_text(text):pattern =re.compile(r'<think>(.*?)</think>(.*)',re.DOTALL)# 定义正则表达式模式match=pattern.search(text)# 匹配 <think>思考过程</think>回答ifmatch:# 如果匹配到思考过程think_content =match.group(1).strip()# 获取思考过程answer_content =match.group(2).strip()# 获取回答else:think_content =""# 如果没有匹配到思考过程，则设置为空字符串answer_content =text.strip()# 直接返回回答returnthink_content,answer_content

步骤 4：加载模型和 tokenizer

@st.cache_resourcedefget_model():# 从预训练的模型中获取 tokenizertokenizer =AutoTokenizer.from_pretrained(mode_name_or_path,trust_remote_code=True)tokenizer.pad_token =tokenizer.eos_token    # 从预训练的模型中获取模型，并设置模型参数model =AutoModelForCausalLM.from_pretrained(mode_name_or_path,torch_dtype=torch.bfloat16,device_map="auto")returntokenizer,model# 加载 Qwen2.5 的 model 和 tokenizertokenizer,model =get_model()

步骤 5：初始化对话历史并显示历史消息

# 如果 session_state 中没有 "messages"，则创建一个包含默认消息的列表if"messages"notinst.session_state:st.session_state["messages"]=[{"role":"assistant","content":"有什么可以帮您的？"}]# 遍历 session_state 中的所有消息，并显示在聊天界面上formsg inst.session_state.messages:st.chat_message(msg["role"]).write(msg["content"])

步骤 6：处理用户输入并生成响应

# 如果用户在聊天输入框中输入了内容，则执行以下操作ifprompt :=st.chat_input():# 在聊天界面上显示用户的输入st.chat_message("user").write(prompt)# 将用户输入添加到 session_state 中的 messages 列表中st.session_state.messages.append({"role":"user","content":prompt})# 将对话输入模型，获得返回input_ids =tokenizer.apply_chat_template(st.session_state.messages,tokenize=False,add_generation_prompt=True)model_inputs =tokenizer([input_ids],return_tensors="pt").to('cuda')generated_ids =model.generate(model_inputs.input_ids,max_new_tokens=max_length)generated_ids =[output_ids[len(input_ids):]forinput_ids,output_ids inzip(model_inputs.input_ids,generated_ids)]response =tokenizer.batch_decode(generated_ids,skip_special_tokens=True)[0]think_content,answer_content =split_text(response)# 调用split_text函数，分割思考过程和回答# 将模型的输出添加到 session_state 中的 messages 列表中st.session_state.messages.append({"role":"assistant","content":response})# 在聊天界面上显示模型的输出withst.expander("模型思考过程"):st.write(think_content)# 展示模型思考过程st.chat_message("assistant").write(answer_content)# 输出模型回答# print(st.session_state) # 打印 session_state 调试

完整代码：将上述步骤合并后，即可得到完整的代码。

下载的时候，网络要稳定，存储路径别写错，不然就下不了。

总结

通过以上步骤，你已经成功搭建了基于 DeepSeek-R1-Distill-Qwen-7B 大模型的 Streamlit 聊天机器人。如果我有一个装有5个苹果的篮子，我拿出3个苹果，剩下的苹果数就是5减去3，等于2个。总共有5个苹果，拿走了3个，那么剩下的苹果数应该是5减去3，也就是2个。为了确保计算的正确性，我可以使用减法的基本原理来验证。如果你在部署过程中遇到任何问题，可参考本文的步骤和注意事项，也可以查阅相关文档或寻求社区的帮助。代码写好后，直接执行，模型就开始下载了，下载时间要看网速。
📖 技术交流：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，加入技术交流群，开启编程探索之旅。⭐关注，收藏！加入我，让我们携手同行AI的探索之旅，一起开启智能时代的大门！

使用bash命令下载模型

三、
2、注意事项
1、
二、然后，我得确定诗的主题。希望你能在这个项目中充分发挥自己的创造力，探索大语言模型在聊天机器人领域的更多应用可能。
四、下载模型文件

1、确保显存容量≥16GB：DeepSeek-R1-Distill-Qwen-7B 模型在运行过程中需要占用一定的显存，为了保证模型能够正常运行，避免出现显存不足的错误，建议确保显存容量≥16GB。DeepSeek-R1-Distill-Qwen-7B 作为一款高性能的蒸馏模型，不仅继承了大模型的强大推理能力，还通过优化大幅降低了部署成本。服务部署启动
五、等你加入，与我们一同成长，共铸辉煌未来。注意事项
总结

前言

随着人工智能技术的飞速发展，大语言模型已成为推动智能化应用的关键力量。互联网系统架构师，目前专注于AIGC的探索。接下来，我应该进行计算。无论你是 AI 初学者还是技术爱好者，都能通过本文的详细指导轻松上手！

一、远程部署需配置 SSH 隧道端口转发：如果需要将聊天机器人部署到远程服务器上，需要配置 SSH 隧道端口转发，以便在本地浏览器中能够访问远程服务器上的服务。问题描述了一个篮子中有5个苹果，然后拿走了3个，问剩下的苹果数量。可视化模型思考过程：通过split_text函数对模型输出进行解析，将模型的思考过程直观地展示给用户，增强了用户对模型推理的理解和信任。同时，配备至少 24GB 显存的 NVIDIA GPU 是必不可少的，这将确保模型在推理过程中能够保持高性能与稳定性，犹如为模型的运行提供了强劲的动力引擎。雨，这些都能让他们联想到自然的美好和变化。AI大模型探索之路（零基础入门）、💎AI专业教程，以及高效AI工具。
💘精心准备📚500本编程经典书籍、

三、使用python代码下载模型

这段代码用modelscope库的snapshot_download函数下载模型。AI大模型预训练微调进阶、如您有任何任何问题，我会尽我所能为您提供帮助。所以，我需要选择一些孩子们熟悉的自然元素，比如小草、
如果文章内容对您有所触动，别忘了点赞、

第一轮对话测试

第三轮对话测试

提示词：一个篮子里有5个苹果，你拿走了3个，篮子里还剩几个苹果？
模型回复：

六、蝴蝶、有的大模型文件特别大，普通下载方法不行，这时候就要用git - lfs。再者，结构方面，现代诗通常比较短，每行不要太长，用词要简洁。在终端里，按顺序做这几步：
# 安装 Git LFScurl-shttps://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh |sudobashsudoapt-getinstallgit-lfs# 克隆模型仓库gitclone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git
注意：下载完，一定要检查下文件是不是都完整。服务部署启动

–server.address 127.0.0.1指定服务的地址为本地回环地址，
–server.port 6006指定服务的端口为 6006。WPS方法详解：无需代码，轻松实现智能办公助手功能02【DeepSeek应用实践】通义灵码 + DeepSeek：AI 编程助手的实战指南03【DeepSeek应用实践】Cline集成DeepSeek：开源AI编程助手，终端与Web开发的超强助力04【DeepSeek开发入门】DeepSeek API 开发初体验05【DeepSeek开发入门】DeepSeek API高级开发指南（推理与多轮对话机器人实践）06【DeepSeek开发入门】Function Calling 函数功能应用实战指南07【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：本地部署与API服务快速上手08【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：Web聊天机器人部署指南09【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：基于vLLM 搭建高性能推理服务器10【DeepSeek部署实战】基于Ollama快速部署DeepSeek-R1系列模型实战指南（Linux）11【DeepSeek部署实战】基于Ollama+Chatbox零成本部署DeepSeek-R1系列模型攻略（Windows）12【DeepSeek开发实战】DeepSeek-R1-Distill-Qwen与LangChain的本地大模型应用开发指南

CUDA 12.1 以及 PyTorch 2.3.0

总结

二、然后，我得确定诗的主题。希望你能在这个项目中充分发挥自己的创造力，探索大语言模型在聊天机器人领域的更多应用可能。
四、下载模型文件

四、下载模型文件

前言

三、使用python代码下载模型

第一轮对话测试

第三轮对话测试

目录

系列篇章💥

1、首先，我得想一下，四年级的学生通常年龄在9-10岁左右，他们的语言理解能力和表达能力有限。

2、减法是数学中的基本运算，表示从一个数量中减去另一个数量。 </think>一个篮子里有5个苹果，你拿走了3个，篮子里还剩2个苹果。

第二轮对话测试

2、

CUDA 12.1 以及 PyTorch 2.3.0

总结

二、然后，我得确定诗的主题。希望你能在这个项目中充分发挥自己的创造力，探索大语言模型在聊天机器人领域的更多应用可能。四、下载模型文件

四、下载模型文件

前言

三、使用python代码下载模型

第一轮对话测试

第三轮对话测试

目录

系列篇章💥

1、首先，我得想一下，四年级的学生通常年龄在9-10岁左右，他们的语言理解能力和表达能力有限。

2、减法是数学中的基本运算，表示从一个数量中减去另一个数量。 </think>一个篮子里有5个苹果，你拿走了3个，篮子里还剩2个苹果。

第二轮对话测试

2、

二、然后，我得确定诗的主题。希望你能在这个项目中充分发挥自己的创造力，探索大语言模型在聊天机器人领域的更多应用可能。
四、下载模型文件