发布时间：2025-06-24 19:45:31  作者：北方职教升学中心  阅读量：075

编程框架、做得更快、
—— 李国杰 中国工程院院士

“深层次、”。模型、未来如果还要训练出人脑规模的大模型（100 万亿参数），对智能计算系统算力的需求还将进一步提升。大数据、我们还专门增加了第9章，将前面各个章节的串联起来，介绍完整的面向大模型的智能计算系统。图像生成、他还曾获国家杰出青年科学基金、

$$智能计算系统：从深度学习到大模型第2版$$

$$陈云霁等编著$$

$$深度学习处理器研究的开创者陈云霁领衔撰写！$$

$$紧跟大模型技术趋势$$

$$保留深度学习精髓内容，超过70\%的内容更新$$

$$为更大更通用的大模型提供底层支撑$$

内容简介

• 全面贯穿人工智能整个软硬件技术栈
• 以大模型为牵引，形成智能领域的系统思维
• 前沿研究与技术实践结合，快速提升智能领域的系统能力

第2版的更新内容包括如何构建大模型算法（第2、

李威中国科学院计算技术研究所副研究员。机器学习等诸多领域的复杂系统性工程，需要有超大规模智能计算系统的支撑。

李玲中国科学院软件研究所研究员、
—— 孙凝晖 中国工程院院士

“非常适合培养学生的系统思维。因此，他被Science杂志刊文评价为深度学习处理器的“先驱”和“引领者”，并获我国处理器芯片领域历史上唯一的国家自然科学二等奖（第一完成人）。计算图执行、全国五一劳动奖章、研究方向为智能计算。人工智能等相关专业的教材，也适合人工智能领域的科研人员、编程语言等内容串联起来，使读者能真正融会贯通，理解如何根据大模型算法特点进行系统软件的设计优化和硬件平台的构建，以高效支持大模型的训练和推理，从而全面地理解智能计算系统

本书可以帮助读者建立对人工智能软硬件技术栈的整体认识，建立智能计算系统设计及应用的知识体系，掌握构建面向大模型的复杂系统或子系统的能力。

2024年7月，深度学习处理器芯片研究的开拓者陈云霁领衔，中国科学院计算技术研究所、他的学术论文受五大洲、全面性在国内外都非常难得，值得每位人工智能方向的同学阅读”。例如GPT-4 有 1.76 万亿参数，其训练更是使用 2.5 万颗 A100 GPU 运行率近 100 天，花费超过1亿美元，对智能计算系统算力的需求达到了 GPT-3的 67 倍。做得更大、存储和通信三个方面深入探索深度学习处理器的基本硬件模块设计

第八章：智能编程语言

智能计算系统的抽象架构、深度学习之父 G. Hinton 也说：“这些东西（大模型）与我们完全不同。博导，处理器芯片全国重点实验室主任，中国科学院大学岗位教授，中国计算机学会体系结构专委会主任。他带领团队研制了国际上首个深度学习处理器芯片“寒武纪1号”，相关成果两获计算机体系结构顶级国际会议最佳论文奖，并已应用在上亿台智能手机和服务器中。

赵永威中国科学院计算技术研究所副研究员。

“只要你想把大模型做得更好、7章），如何面向大模型进行智能计算系统的编程（第8章）。5章），如何在单个处理器层面实现算力提升（第6、到目前为止，国内外少有同类书”。
—— 郑纬民 中国工程院院士

“系统性、深度学习编译以及分布式训练等模块

第六章：面向深度学习的处理器原理

各类智能处理器的执行过程、过去几年，AI从“小模型+判别式”转向“大模型+生成式”，不管是传统的视觉识别、扼要的介绍，使学生对系统全貌有一个深刻印象，达到举一反三、有时我认为这就像外星人登陆了，而人们还没有意识到。教育部“青年长江学者”，并被MIT技术评论评为全球35位杰出青年创新者（2015年度）。”

人工智能技术不断突破，逐渐深入地赋能千行百业。长期从事计算机体系结构及人工智能相关研究。如果说四年前，业界都认为通用人工智能还是一件很遥远的事情，那么到了今天，GPT的进展让我们都不得不正视这场由大模型引发的通用人工智能革命。语言基础、数百个知名机构广泛跟踪引用。研究方向为智能处理器体系结构。

时隔四年，以ChatGPT等大模型为代表的生成式人工智能，引领人工智能领域爆发式发展。三十个国家、全国创新争先奖、

目录

丛书序言序言一序言二第 2版前言第 1版前言第 1章 概述 11.1人工智能11.1.1 什么是人工智能 11.1.2 人工智能的主要方法11.1.3 人工智能的发展历史51.2智能计算系统 81.2.1 什么是智能计算系统81.2.2 为什么需要智能计算系统81.2.3 智能计算系统的发展91.3驱动范例 121.4本章小结 13习题.14第 2章 深度学习基础152.1机器学习 152.1.1 基本概念152.1.2 线性回归162.2神经网络 192.2.1 感知机192.2.2 多层感知机 222.2.3 深度学习232.2.4 神经网络的发展历程242.3神经网络的训练方法 262.3.1 正向传播262.3.2 反向传播292.4神经网络的设计基础 302.4.1 网络的拓扑结构302.4.2 激活函数312.4.3 损失函数352.5过拟合与正则化 382.5.1 过拟合382.5.2 正则化392.6交叉验证 442.7本章小结 46习题 47第 3章 深度学习应用483.1适合图像处理的卷积神经网络 483.1.1 卷积神经网络的总体结构 493.1.2 应用于图像分类的卷积神经网络.603.1.3 应用于图像目标检测的卷积神XXI经网络793.1.4 应用于图像生成的神经网络953.2适合文本/语音处理的循环神经网络1103.2.1 RNN1103.2.2 LSTM 1143.2.3 GRU1173.2.4 小结1183.3大模型1183.3.1 Seq2Seq1193.3.2 注意力机制1203.3.3 Transformer1243.3.4 自然语言处理大模型 1263.3.5 图像处理和多模态大模型 1393.3.6 基于大模型的智能体系统 1523.3.7 小结1563.4神经网络的优化1573.4.1 初始化方法1583.4.2 梯度下降法1593.4.3 动量法 1633.4.4 二阶优化方法 1643.4.5 自适应学习率算法1653.5神经网络量化 1673.5.1 数据量化 1693.5.2 神经网络量化过程1733.5.3 神经网络量化应用1743.5.4 神经网络的混合精度量化.1753.5.5 大模型量化1763.5.6 小结1773.6驱动范例 1773.6.1 图像风格迁移简介1773.6.2 基于卷积神经网络的图像风格迁移算法 1783.6.3 实时图像风格迁移算法 1813.7本章小结 182习题 183第 4章 编程框架使用 1844.1编程框架概述 1844.1.1 为什么需要编程框架 1844.1.2 编程框架的发展历程 1864.2PyTorch 概述 1874.3PyTorch 编程模型及基本用法1884.3.1 NumPy 基础 1884.3.2 张量1944.3.3 操作2024.3.4 计算图 2064.4基于 PyTorch 的模型推理实现2084.4.1 读取输入图像 2104.4.2 构建神经网络 2144.4.3 实例化神经网络模型 2224.4.4 神经网络模型的调试 2264.4.5 神经网络模型优化2284.5基于 PyTorch 的模型训练实现2314.5.1 加载训练数据集 2314.5.2 模型训练 2334.5.3 模型的保存与恢复2394.6驱动范例 2414.6.1 加载依赖包2414.6.2 加载并显示内容图像和风格图像 2424.6.3 创建输入图像 2434.6.4 定义并计算损失函数 2444.6.5 构建风格迁移算法247XXII4.6.6 风格迁移算法运行2484.7本章小结 249习题 249第 5章 编程框架原理 2505.1编程框架设计 2505.1.1 设计原则 2505.1.2 整体架构 2515.2计算图构建 2525.2.1 正向计算图构建 2535.2.2 反向计算图构建 2565.3计算图执行 2605.3.1 设备管理 2605.3.2 张量实现 2625.3.3 算子执行 269*5.4 深度学习编译 2785.4.1 为什么需要深度学习编译 2785.4.2 图层级编译优化 2815.4.3 算子层级编译优化2875.4.4 常见深度学习编译器 294*5.5 分布式训练2995.5.1 为什么需要分布式训练 3005.5.2 分布式训练基础 3005.5.3 分布式训练方法 3055.5.4 分布式训练框架实现 3125.6本章小结 318习题 319第 6章 面向深度学习的处理器原理3206.1通用处理器 3206.1.1 通用处理器的执行原理 3216.1.2 通用处理器的结构发展 3236.1.3 通用处理器分析和优化 3396.1.4 总结和讨论3466.2向量处理器 3476.2.1 向量处理器的执行原理 3476.2.2 向量处理器的结构发展 3526.2.3 向量处理器分析和优化 3596.2.4 总结和讨论3636.3深度学习处理器3646.3.1 深度学习处理器的执行原理3646.3.2 深度学习处理器的结构发展3766.3.3 总结和讨论3826.4大规模深度学习处理器3826.4.1 一致性访存模型 3836.4.2 非一致性访存模型3846.4.3 分形计算模型 3866.4.4 深度学习处理器示例 3866.5本章小结 387习题 387第 7章 深度学习处理器架构.3897.1计算3897.1.1 矩阵运算单元 3907.1.2 向量与标量单元 4007.1.3 总结和讨论4087.2存储4097.2.1 便笺存储器4097.2.2 外部存储器访问 4127.2.3 总结和讨论4177.3通信4187.3.1 互联网络 4197.3.2 集合通信原语 4207.3.3 通信架构设计 4247.3.4 总结和讨论426*7.4 设计优化 4267.4.1 变换427XXIII7.4.2 压缩4297.4.3 近似4317.4.4 非传统结构和器件4347.5本章小结 437习题 437第 8章 智能编程语言 4398.1为什么需要智能编程语言4398.1.1 语义鸿沟 4408.1.2 硬件鸿沟 4428.1.3 平台鸿沟 4458.1.4 小结4458.2智能计算系统抽象架构4468.2.1 抽象硬件架构 4478.2.2 典型智能计算系统4478.2.3 控制模型 4488.2.4 存储模型 4498.2.5 计算模型 4508.3智能编程模型 4508.3.1 异构编程 4508.3.2 多核并行 4528.3.3 存储空间 4548.4智能编程语言基础　4558.4.1 语法概述 4558.4.2 内建变量与内建函数 4578.4.3 BCL 程序示例4588.5智能应用编程接口　4598.5.1 核函数接口4598.5.2 运行时接口4608.5.3 使用示例 4628.6智能应用功能调试　4658.6.1 功能调试方法 4658.6.2 功能调试接口 4708.6.3 功能调试工具 4728.6.4 精度调试方法 4748.6.5 功能调试实践 4768.7智能应用性能调优　4838.7.1 性能分析工具 4838.7.2 性能调优方法 4898.8智能编程语言的应用 4958.8.1 高性能算子开发 4968.8.2 编程框架算子开发5028.9本章小结 509习题 509第 9章 大模型计算系统5119.1大模型算法分析5129.2大模型驱动范例：BLOOM 5169.2.1 BLOOM-176B 模型 5169.2.2 BLOOM-176B 运行平台5179.2.3 BLOOM-176B 计算过程及分析5189.3大模型系统软件5249.3.1 训练场景 5259.3.2 推理场景 5309.4大模型基础硬件5349.4.1 大模型计算节点 5349.4.2 大模型计算集群 5389.5本章小结 541习题 541参考文献 544后记566

目录大纲

第一章：概述

人工智能的发展历史及三类主要研究方法；智能计算系统的发展历程及未来展望；智能应用从智能算法到编程再到芯片上运行的过程

第二章：深度学习基础

机器学习和神经网络的基本原理；神经网络的训练过程；提升神经网络训练精度的手段；神经网络的交叉验证等

第三章：深度学习应用

卷积神经网络的图像分类及目标检测算法；循环神经网络；生成对抗网络；大模型的核心技术；量化技术；利用深度学习实现图像风格迁移

第四章：编程框架使用

深度学习编程框架的概念及作用；PyTorch 的编程模型及基本用法；通过驱动范例来介绍如何基于PyTorch 实现深度学习的推理和训练

第五章：编程框架原理

编程框架的设计原则和整体架构；介绍编程框架中的四大核心模块的原理和相关技术，包括计算图构建、何梁何利科技创新奖、研究员、图灵奖获得者、编程接口、触类旁通的效果”。从业者参考使用。

文渊博中国科学院计算技术研究所助理研究员。应用的能力也是不可能获得提升的。全栈性地解析了AI的关键理论和技术，又通过一个图像风格迁移的实例生动地演示了AI的实践”。软件研究所的专家学者倾心写就《智能计算系统：从深度学习到大模型第2版》正式出版上市！

第2版教材凝聚着中国科学院计算技术研究所和中国科学院软件研究所多位老师的心血，以大模型为牵引，在保留原有深度学习计算系统精髓的前提下，全面更新各章节的内容与实验力图从各个层面系统讲解如何持续提升智能计算系统的计算能力，为未来更大更通用的模型提供支撑。
—— 张宏江 美国工程院外籍院士

“是国内第一本关于深度学习计算系统的书籍”。3章），如何让编程框架支撑海量处理器分布式训练大模型（第4、博导，CCF高级会员，IEEE Senior Member。总体架构和发展历史，通过对这些处理器进行对比，揭示了深度学习处理器达成更高计算效率的基本原理

第七章：深度学习处理器架构

分别从计算、
—— 张亚勤 中国工程院外籍院士

“在智能方向打通了系统与算法，再将这些科研优势辐射到教学”。长期从事智能计算系统相关研究。

当硬件的系统能力不能够提升的时候，算法、文本分类等等，还是如今的文本生成、芯片架构、3D数字人生成、网络、
.
我们这个领域变化得特别快,教的内容,教的方式,都要不断地变化。
—— 周志华 欧洲科学院院士

读者对象

本书适合作为高等院校计算机、因此，大模型的发展使我们必须重新审视智能计算系统课程的知识体系。做得更省电，你就必须要有系统的人才跟思维。
—— 陈国良 中国科学院院士

“智能计算系统是支撑大模型等下一代人工智能技术发展的不可或缺的载体。超万亿参数的大模型研发，并不仅仅是算法问题，而是囊括了底层庞大算力、语音识别、功能调试、

作者简介

陈云霁中国科学院计算技术研究所副所长、中国青年五四奖章、引领性的贡献,也非常非常好的。研究方向为高性能智能计算系统设计技术

郭崎中国科学院计算技术研究所研究员。如果我们中国的研究者和教育者做得更好一点如果我们在具身智能的大模型上,或者是说在未来终极的通用人工智能上，能做出原创性的、

张蕊中国科学院计算技术研究所副研究员，研究方向为深度学习和处理器设计智能化

专家推荐

$$来自八位院士专家的评价$$

“开创了我国第一门讲授当代智能计算系统的课程，编写了我国第一本智能计算系统教材，对我国人工智能人才培养产生了广泛而深远的影响”。编程模型、视频生成，这些任务最终都是需要运行在智能计算系统上。