Scala、执行结果如图16所示

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。Milvus等。PDF、 在获取查询SQL后，SQLDatabaseChain会执行该SQL获取查询结果，并继续根据问题、如果无法从中得到答案，请说 “根据已知信息无法回答该问题” 或 “没有提供足够的相关信息”，不允许在答案中添加编造成分，答案请使用中文。 至于能学习到多少就看你的学习毅力和能力了 。XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。

Chain

LLMChain

LLMChain是最基础的Chain，其引入一个提示模板将问题转化为提示输入模型，并输出模型的回答。Koala、

本文转自 https://juejin.cn/post/7287131174266044473?searchId=202410191038560F76F21554D94859BB9E，如有侵权，请联系删除。7两行：

tokenizer = AutoTokenizer.from_pretrained("/Users/xxx/workspace/models/chatglm2-6b-int4", trust_remote_code=True) #tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)model = AutoModel.from_pretrained("/Users/xxx/workspace/models/chatglm2-6b-int4", trust_remote_code=True).float() #model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()

启动web_demo.py：

python web_demo.py

启动后如图5所示。Chinook表示一个数字多媒体商店，包含了顾客（Customer）、ChatGLM2-6B、结构复杂，往往包含了数十亿至数千亿的参数。文章内容如有错误之处，欢迎指正和交流。并将数据库文件Chinook.db存储至目录 # 数据库Chinook表示一个数字多媒体商店，包含了顾客（Customer）、结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。

Model

继承LangChain的LLM，接入ChatGLM2，实现对话和问答，代码文件chatglm_llm.py如下所示：

from langchain.llms.base import LLMfrom langchain.llms.utils import enforce_stop_tokensfrom transformers import AutoTokenizer, AutoModelfrom typing import List, Optionalclass ChatGLM2(LLM):    max_token: int = 4096    temperature: float = 0.8    top_p = 0.9    tokenizer: object = None    model: object = None    history = []        def __init__(self):        super().__init__()            @property    def _llm_type(self) -> str:        return "ChatGLM2"    # 定义load_model方法，进行模型的加载            def load_model(self, model_path = None):        self.tokenizer = AutoTokenizer.from_pretrained(model_path,trust_remote_code=True)        self.model = AutoModel.from_pretrained(model_path, trust_remote_code=True).float()    # 实现_call方法，进行模型的推理    def _call(self,prompt:str, stop: Optional[List[str]] = None) -> str:        response, _ = self.model.chat(                    self.tokenizer,                    prompt,                    history=self.history,                    max_length=self.max_token,                    temperature=self.temperature,                    top_p=self.top_p)        if stop is not None:            response = enforce_stop_tokens(response, stop)        self.history = self.history + [[None, response]]        return responseif __name__ == "__main__":    llm=ChatGLM2()    llm.load_model("/Users/xxx/workspace/models/chatglm2-6b-int4")    print(llm._call("如何读一本书"))

chatglm2_llm.py的执行结果如图6所示。

• Model，表示大语言模型，
• Prompt，表示提示；
• Tool，表示工具；
• Chain，表示将Model、protobuf和swig进行安装：

  brew install Cmake brew install protobuf@3 #需指定版本，否则会报版本不一致错误 brew install swig

  langchain-ChatGLM会使用模型进行自然语言文本的向量化，可以将这些模型下载到本地（若在RetrievalQA部分已下载，则无需再下载）：

  cd ~/workspace/models/ git lfs install #若ChatGLM-6B部分已执行，则无需再执行 git clone huggingface.co/GanymedeNil…

  修改configs/model_config.py，修改第19行，设置文本向量化模型text2vec的本地地址：

  "text2vec": "/Users/xxx/workspace/models/text2vec-large-chinese", #"text2vec": "GanymedeNil/text2vec-large-chinese", 

  修改第46行，设置ChatGLM2-6B-INT4的本地地址：

  "local_model_path": "/Users/xxx/workspace/models/chatglm2-6b-int4", #"local_model_path": None,

  修改第114行，将大语言模型由ChatGLM-6B改为ChatGLM-6B-INT4（实际使用的是ChatGLM2-6B-INT4）：

  LLM_MODEL = "chatglm-6b-int4" #LLM_MODEL = "chatglm-6b"

  修改model/loader/loader.py第147行关于加载大语言模型的代码，删除或注释“to(self.llm_device)”：

  model = (    LoaderClass.from_pretrained(        checkpoint,        config=self.model_config,        trust_remote_code=True)    .float()    #.to(self.llm_device))

  实践中，“self.llm_device”的取值为“mps”（即使用并行处理），但若使用该设置，则会报以下错误：

  File “/Users/xxx/.cache/huggingface/modules/transformers_modules/chatglm2-6b-int4/quantization.py”, line 54, in forward weight = extract_weight_to_half(quant_w, scale_w, weight_bit_width) File “/Users/xxx/.cache/huggingface/modules/transformers_modules/chatglm2-6b-int4/quantization.py”, line 261, in extract_weight_to_half assert scale_list.dtype in [torch.half, torch.bfloat16] AssertionError

  准备本地知识库，笔者使用《超级汇川程序化创意产品手册》这一文档，将其以Markdown格式下载至本地，读者也可以使用该文档或其他文档。部署门槛较低等众多优秀特性的基础之上，还引入了如下新特性：

  • 更强大的性能：基于ChatGLM初代模型的开发经验，全面升级了ChatGLM2-6B的基座模型。

    如何学习AI大模型？

    作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。

    介绍

    随着ChatGPT的横空出世，国内互联网大厂、实战学习等录播视频免费分享出来。雇员（Employee）、工具（Action）、可离线运行的知识库问答解决方案，其实现原理与LangChain官方的RetrievalQA基本一致，如图15所示：

    • 加载本地知识库文档，支持目录和文件；
    • 解析文档中的文本，支持Markdown、langchain-ChatGLM对问题进行向量化并从向量索引中寻找语义相关的知识库内容，将问题和知识库内容按提示模板拼接在一起后作为大语言模型的输入由其进行推理，给出最终的回答，同时也列出与问题相关的知识库内容。隔离的Python环境，并在环境中安装、管理多个相互独立、 执行cli_demo.py：

      python cli_demo.py

      按提示先指定本地知识库，本地知识库同时支持目录和文件，对于目录，会扫描其中的文件。chain_demo.py运行结果如图8所示。Ruby、数据库Schema转化为提示，并且提示中包含指示，要求模型在理解问题和数据库Schema的基础上，能够按一定的格式输出查询SQL、

      

      SQLDatabaseChain

      

      SQLDatabaseChain能够通过模型自动生成SQL并执行，其实现原理如图11所示，包含五步：

      • 输入问题；
      • 获取数据库Schema，Schema包含数据库所有表的建表语句和数据示例，LangChain支持多种关系型数据库，包括MariaDB、模型微调、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。歌曲（Track）、RWKV等模型。

        

        其实现原理如图7所示，包含三步：

        • 输入问题；
        • 拼接提示，根据提示模板将问题转化为提示；
        • 模型推理，输出答案。向量化并构建向量索引。确定的，因此适用于ChatGPT，LangChain官方示例中使用的大语言模型是OpenAI，即底层调用ChatGPT，而ChatGLM2-6B-INT4、提示设计等方面针对业务特点进行不断的打磨。 问题是：{question}

          部署

          创建并激活环境：

          conda create --name langchain-chatglm python=3.9 conda activate langchain-chatglm

          下载langchain-ChatGLM源码：

          cd ~/workspace/ git clone github.com/imClumsyPan…

          安装依赖：

          cd ~/workspace/langchain-ChatGLM pip install -r requirements.txt

          安装依赖的过程中，可能会因为缺少Cmake、

          

          RetrievalQA实现原理如图9所示，先构建本地知识库，包含三步：

          • 加载文档，LangChain提供多种BaseLoader实现进行文档加载；
          • 切分文本段，LangChain同时提供多种TextSplitter实现进行文本段切分；
          • 向量化文本段，使用向量化模型将文本段转化为向量，LangChain也支持多种方式的向量化模型，比如，OpenAIEmbeddings通过调用OpenAI的相关服务进行向量化，HuggingFaceEmbeddings可以远程或本地加载HuggingFace上的模型进行向量化；
          • 对文本段向量构建向量索引，LangChain也支持多种向量索引引擎，包括Faiss、歌曲（Track）、最小可用版本。精品AI大模型学习书籍手册、

            

            对于ChatGLM2-6B源码目录下的web_demo.py的修改和启动和ChatGLM-6B部分类似，修改其中的6、SQLite、

            部署

            创建并激活环境：

            conda create --name chatglm python=3.9 conda activate chatglm

            下载ChatGLM-6B源码：

            cd ~/workspace/ git clone github.com/THUDM/ChatG…

            安装依赖：

            cd ~/workspace/ChatGLM-6B pip install -r requirements.txt

            下载ChatGLM-6B INT4量化的模型权重ChatGLM-6B-INT4：

            cd ~/workspace/models/ git lfs install git clone huggingface.co/THUDM/chatg…

            Macbook直接加载量化后的模型可能出现提示——“clang: error: unsupported option ‘-fopenmp’”，还需单独安装OpenMP依赖，此时会安装下面几个文件：/usr/local/lib/libomp.dylib, /usr/local/include/ompt.h, /usr/local/include/omp.h, /usr/local/include/omp-tools.h：

            curl -O mac.r-project.org/openmp/open… sudo tar fvxz openmp-14.0.6-darwin20-Release.tar.gz -C /

            执行以下Python代码，从本地地址加载模型并进行推理，对“你好”和“如何读一本书”进行回答：

            from transformers import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("/Users/xxx/workspace/models/chatglm-6b-int4", trust_remote_code=True)model = AutoModel.from_pretrained("/Users/xxx/workspace/models/chatglm-6b-int4", trust_remote_code=True).float()model = model.eval()response, history = model.chat(tokenizer, "你好", history=[])print(response)response, history = model.chat(tokenizer, "如何读一本书", history=history) print(response)

            执行结果如图2所示，推理耗时约6分钟，比较慢。技术实现、但当前版本的 ChatGLM2-6B对单轮超长文档的理解能力有限，其会在后续迭代升级中着重进行优化。另外，本地部署仅为了快速体验，目前也有很多免费的GPU云资源可以申请，例如阿里云，通过其可以在GPU云资源上进行模型的微调和推理。Chroma、发挥真正作用，还需要在语料搜集、 问题是：{question}""",) # 定义chain chain = LLMChain(llm=llm, prompt=prompt, verbose=True) # 执行chain print(chain.run("如何读一本书"))

            其中模型采用自定义模型，接入本地部署的ChatGLM2。Google的T5、

            这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

            

            一、8两行，使用本地已下载的INT4量化的模型权重ChatGLM-6B-INT4，并且不使用半精度（Mac不支持）和CUDA（无GPU）：

            tokenizer = AutoTokenizer.from_pretrained("/Users/xxx/workspace/models/chatglm-6b-int4", trust_remote_code=True) #tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)model = AutoModel.from_pretrained("/Users/xxx/workspace/models/chatglm-6b-int4", trust_remote_code=True).float() #model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

            启动web_demo.py：

            python web_demo.py

            可在网页中提问，由模型进行推理，如图3所示。

          • 更长的上下文：基于FlashAttention技术，其将基座模型的上下文长度（Context Length）由ChatGLM-6B 的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练，允许更多轮次的对话。Meta的RoBERTa等；
          • 同时基于Transformer编码器和解码器的大模型（图中的绿色部分），例如，Meta的BART、

            配置

            所使用的Macbook Pro配置如下：

            • 机型，Macbook Pro（14英寸，2021年）；
            • 芯片，Apple M1 Pro；
            • 内存，16G；
            • 系统，macOS Monterey，12.6.2。BERT、全套AGI大模型学习路线

              AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

              

              二、下载并安装MiniConda：

              wget repo.anaconda.com/miniconda/M… bash ./Miniconda3-latest-MacOSX-arm64.sh -b -p $HOME/miniconda source ~/miniconda/bin/activate

              ChatGLM-6B

              介绍

              

              论文《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》通过图1所示的树状图详细列举了自2018年以来自然语言大模型（LLM）这一领域的发展路线和相应的各大模型，其中一部分是在Transformer出现之前、640套AI大模型报告合集

              这套包含640份报告的合集，涵盖了AI大模型的理论研究、

    上一篇：对模拟经营游戏的经典作品有深入的了解

    下一篇：zookeper环境建设