《理解深度学习》清华大学出版社电子书（pdf+word+epub+mobi+azw3版本）

茶楼酒店宾馆礼仪服、KTV小姐礼服、旗袍网店（美仪思佳等）：http://www.lifu.in/liyi

『美仪思佳』礼仪小姐服饰网店和文化网 ：http://www.liyi.info

【收藏本站】喜欢本站的朋友点击一下链接收藏到QQ空间、新浪微博等！

该商品为众筹商品，目前无实际资源，目前心愿值达成2点，未达成理想心愿值27点，如果不懂心愿值不要急着付款，先看心愿值计划：点击这里

理解深度学习
10位行业名家力荐的人工智能入门指南。揭开深度学习的神秘面纱，“理解”后“使用”深度学习，效率更高！
作者:[美] 西蒙·J.D. 普林斯（Simon J.D. Prince）著 ，张亚东 马壮 译出版社:清华大学出版社出版时间:2025年07月
在当当计算机/网络畅销榜排名179位 246条评论

当当价 ¥148.50(7.9折)

开 本：16开
纸 张：胶版纸
包 装：平装-胶订
是否套装：否
国际标准书号ISBN：9787302693307
所属分类：
图书>计算机/网络>人工智能>深度学习与神经网络

编辑推荐

在当今这个信息爆炸的时代，获取学习资料的渠道并不匮乏，各类书籍和视频资源可谓琳琅满目。但我始终没有找到一本合适的“人工智能入门指南”。一部分书籍罗列了许多新颖的算法，但缺乏深入剖析，浮于表面；它们更适合作为科普读物，对于希望深入学习的读者来说，内容深度是远远不够的。一部分书籍从最基础的数学原理入手，详细列出相关公式，但学习门槛较高；而且即便完全掌握了这些原理，若想将算法落地，仍需要补充对应的编程技能。还有一部分书籍侧重实践应用，提供了大量示例代码和详细讲解，却容易让读者陷入“知其然”而“不知其所以然”的困境。
直到阅读了亚东老师推荐的Understanding Deep Learning后，我意识到终于找到理想的“指南书”了。本书从最基础的浅层神经网络入手，逐步深入，直至扩散模型，内容包罗万象。在基础模型章节中，Simon教授对每个问题的建模和公式推导都进行了细致入微的讲解；在高级模型章节中，阐述原理，还深入探讨模型的应用场景及前沿研究趋势。如果你潜心研读每一章节、每一个公式，会发现Simon教授倾注了大量心血，力求将复杂的概念以最清晰的方式呈现给读者。深度学习的难点之一在于如何理解高维空间中的问题，Simon教授通过降维和可视化手段，将梯度下降、迭代求解等抽象过程直观展现出来，极大地降低了理解门槛。本书讲解算法原理，还附有每个模型的Python Notebook源代码。无论你是具备一定数学基础的本科生，还是希望深入了解人工智能技术的软件工程师，本书都是你的上佳选择。

内容简介

一部权威、通俗、前沿的深度学习指南。
从机器学习基础知识到前沿模型，《理解深度学习》精选关键理论与尖端主题，以直观形式呈现高密度的核心知识。

•涵盖热门主题：如Transformer模型与扩散模型(Diffusion Model)。
•化繁为简：先以通俗语言阐释复杂概念，再辅以数学公式与视觉图解深入解析。
•实践导向：引导读者动手实现模型的初级版本。
•配套资源丰富：提供教师课件、习题及Python Notebook编程练习。
•适用读者：适合已掌握应用数学基础知识的本科生、研究生及从业者。
作者简介

Simon J.D.Prince 现任英国巴斯大学计算机科学名誉教授，著有Computer Vision: Models, Learning, and Inference .他专注于人工智能与深度学习领域研究，曾在Anthropics Technologies Ltd、Borealis AI等机构领导学术界与工业界科研团队。
目　　录

第1章　引言 1
1.1　监督学习 1
1.1.1　回归和分类问题 2
1.1.2　输入 3
1.1.3　机器学习模型 4
1.1.4　深度神经网络 5
1.1.5　结构化输出 5
1.2　无监督学习 7
1.2.1　生成模型 7
1.2.2　潜变量 9
1.2.3　联系监督学习和无监督学习 10
1.3　强化学习 11
1.4　伦理学 12
1.5　本书编排方式 13
1.6　其他书籍 14
1.7　如何阅读本书 15
第2章　监督学习 16
2.1　监督学习概述 16
2.2　线性回归示例 17
2.2.1　一维(1D)线性回归模型 17

2.2.2　损失 18
2.2.3　训练 20
2.2.4　测试 21
2.3　本章小结 21
2.4　注释 22
2.5　问题 22
第3章　浅层神经网络 24
3.1　神经网络示例 24
3.1.1　神经网络的直观理解 25
3.1.2　描绘神经网络 27
3.2 　通用逼近定理 28
3.3　多变量输入和输出 29
3.3.1　可视化多变量输出 29
3.3.2　可视化多变量输入 30
3.4　浅层神经网络：一般情形 33
3.5　术语 33
3.6　本章小结 34
3.7　注释 34
3.8　问题 37
第4章　深度神经网络 40
4.1　组合神经网络 40
4.2　从组合网络到深度网络 43
4.3　深度神经网络 43
4.4　矩阵表示法 46
4.5　浅层与深度神经网络 48
4.5.1　逼近不同函数的能力 48
4.5.2　每参数线性区域数量 48
4.5.3　深度效率 49
4.5.4　大型结构化输入 49
4.5.5　训练和泛化 49
4.6　本章小结 50
4.7　注释 50
4.8　问题 51
第5章　损失函数 54
5.1　最大似然 54
5.1.1　计算输出分布 56
5.1.2　最大似然准则 56
5.1.3　最大化对数似然 56
5.1.4　最小化负对数似然 57
5.1.5　模型推理 58
5.2　构建损失函数 58
5.3　示例1：单变量回归问题 58
5.3.1　最小二乘损失函数 59
5.3.2　模型推理 61
5.3.3　方差估计 61
5.3.4　异方差回归 62
5.4　示例2：二分类问题 63
5.5　示例3：多分类问题 65
5.6　多输出问题 67
5.7　交叉熵损失 68
5.8　本章小结 69
5.9　注释 70
5.10　问题 71
第6章　模型训练 74
6.1　梯度下降法 74
6.1.1　线性回归示例 75
6.1.2　Garbor模型示例 77
6.1.3　局部最小值和鞍点 77
6.2　随机梯度下降 79
6.2.1　批次和epoch 80
6.2.2　随机梯度下降的特性 82
6.3　动量 82
6.4　Adam 优化器 84
6.5　训练算法超参数 86
6.6　本章小结 87
6.7　注释 87
6.8　问题 90
第7章　梯度与参数初始化 93
7.1　问题定义 93
7.2　计算导数 95
7.3　简单示例 96
7.4　反向传播算法 99
7.4.1　反向传播算法总结 102
7.4.2　自动微分 103
7.4.3　扩展到任意计算图 103
7.5　参数初始化 103
7.5.1　正向传播的初始化 104
7.5.2　反向传播的初始化 106
7.5.3　正向和反向传播的初始化 106
7.6　训练代码示例 107
7.7　本章小结 108
7.8　注释 108
7.9　问题 110
第8章　性能评估 114
8.1　训练简单模型 114
8.2　误差来源 116
8.2.1　噪声、偏差和方差 117
8.2.2　测试误差的数学表达 118
8.3　降低误差 120
8.3.1　降低方差 120
8.3.2　降低偏差 122
8.3.3　偏差-方差权衡 122
8.4　选择超参数 127
8.5　本章小结 128
8.6　注释 128
8.7　问题 131
第9章　正则化 133
9.1　显式正则化 133
9.1.1　概率解释 134
9.1.2　L2正则化 134
9.2　隐式正则化 136
9.2.1　梯度下降法中的隐式正则化 136
9.2.2　随机梯度下降法中的隐式正则化 137
9.3　提高性能的启发式算法 139
9.3.1　提前停止 139
9.3.2　集成学习 140
9.3.3　随机丢弃 141
9.3.4　添加噪声 143
9.3.5　贝叶斯推理 144
9.3.6　迁移学习和多任务学习 145
9.3.7　自监督学习 146
9.3.8　数据增广 146
9.4　本章小结 147
9.5　注释 148
9.6　问题 154
第10章　卷积网络 155
10.1　不变性和等变性 156
10.2　用于一维输入的卷积网络 157
10.2.1　一维卷积操作 157
10.2.2　填充 157
10.2.3　步长、核大小和膨胀率 158
10.2.4　卷积层 159
10.2.5　通道 160
10.2.6　卷积网络和感受野 160
10.2.7　示例：MNIST-1D 161
10.3　二维输入的卷积网络 163
10.4　下采样和上采样 165
10.4.1　下采样 165
10.4.2　上采样 165
10.4.3　更改通道数量 166
10.5　应用 167
10.5.1　图像分类 167
10.5.2　目标检测 169
10.5.3　语义分割 170
10.6　本章小结 172
10.7　注释 172
10.8　问题 176
第11章　残差网络 178
11.1　顺序处理 178
11.2　残差连接和残差块 180
11.2.1　残差块中的操作顺序 182
11.2.2　带有残差连接的更深层网络 182
11.3　残差网络中的梯度爆炸 183
11.4　批量归一化 184
11.5　常见的残差架构 185
11.5.1　ResNet 185
11.5.2　DenseNet 187
11.5.3　U-Net和沙漏网络 188
11.6　为什么具有残差连接的网络表现如此出色？ 190
11.7　本章小结 190
11.8　注释 191
11.9　问题 195
第12章　变换器 197
12.1　处理文本数据 197
12.2　点积自注意力 198
12.2.1　计算和加权值 199
12.2.2　计算注意力权重 200
12.2.3　自注意力总结 201
12.2.4　矩阵形式 202
12.3　点积自注意力的扩展 203
12.3.1　位置编码 203
12.3.2　缩放点积自注意力 204
12.3.3　多头 204
12.4　变换器 205
12.5　自然语言处理中的变换器 206
12.5.1　分词 206
12.5.2　嵌入 207
12.5.3　变换器模型 208
12.6　编码器模型示例：BERT 208
12.6.1　预训练 209
12.6.2　微调 209
12.7　解码器模型示例：GPT-3 211
12.7.1　语言建模 211
12.7.2　掩码自注意力 211
12.7.3　从解码器生成文本 212
12.7.4　GPT-3与少样本学习 213
12.8　编码器-解码器模型示例：机器翻译 214
12.9　用于长序列的变换器 216
12.10　图像的变换器 217
12.10.1　ImageGPT 218
12.10.2　视觉变换器(ViT) 219
12.10.3　多尺度视觉变换器 219
12.11　本章小结 220
12.12　注释 221
12.13　问题 228
第13章　图神经网络 230
13.1　什么是图 230
13.2　图的表示 233
13.2.1　邻接矩阵的属性 233
13.2.2　节点索引的排列 234
13.3　图神经网络、任务和损失函数 235
13.4　图卷积网络 237
13.4.1　等变性和不变性 238
13.4.2　参数共享 238
13.4.3　GCN层示例 239
13.5　示例：图分类 240
13.6　归纳模型与演绎模型 241
13.7　示例：节点分类 242
13.8　图卷积网络的层 245
13.8.1　结合当前节点和聚合邻居 245
13.8.2　残差连接 245
13.8.3　平均聚合 246
13.8.4　Kipf归一化 246
13.8.5　最大池化聚合 246
13.8.6　注意力聚合 246
13.9　边图 248
13.10　本章小结 249
13.11　注释 249
13.12　问题 254
第14章　无监督学习 257
14.1　无监督学习模型分类 257
14.2　什么是好的生成模型？ 259
14.3　量化评估指标 260
14.4　本章小结 263
14.5　注释 263
第15章　生成式对抗网络 264
15.1　判别作为信号 264
15.1.1　GAN 损失函数 265
15.1.2　训练 GAN 266
15.1.3　DCGAN 267
15.1.4　GAN训练的难点 268
15.2　提高稳定性 269
15.2.1　GAN 损失函数分析 269
15.2.2　梯度消失 270
15.2.3　Wasserstein距离 271
15.2.4　离散分布的Wasserstein距离 271
15.2.5　连续分布的Wasserstein距离 273
15.2.6　Wasserstein GAN损失函数 273
15.3　提升生成图像质量的方法 274
15.4　条件生成 276
15.4.1　cGAN 276
15.4.2　ACGAN 277
15.4.3　InfoGAN 278
15.5　图像翻译 279
15.5.1　Pix2Pix 279
15.5.2　对抗性损失 279
15.5.3　CycleGAN 281
15.6　StyleGAN 282
15.7　本章小结 284
15.8　注释 285
15.9　问题 288
第16章　标准化流 290
16.1　一维示例 290
16.1.1　计算概率 291
16.1.2　正向和反向映射 292
16.1.3　学习 292
16.2　一般情况 293
16.2.1　基于深度神经网络的正向映射 293
16.2.2　对网络层的要求 294
16.3　可逆网络层 295
16.3.1　线性流 295
16.3.2　逐元素流 296
16.3.3　耦合流 297
16.3.4　自回归流 298
16.3.5　反向自回归流 299
16.3.6　残差流：iRevNet 300
16.3.7　残差流和收缩映射：iResNet 301
16.4　多尺度流 302
16.5　应用 303
16.5.1　密度建模 303
16.5.2　图像合成 304
16.5.3　近似其他密度模型 305
16.6　本章小结 306
16.7　注释 307
16.8　问题 310
第17章　变分自编码器 312
17.1　隐变量模型 312
17.2　非线性隐变量模型 314
17.3　训练 315
17.3.1　证据下界 (ELBO) 315
17.3.2　Jensen 不等式 316
17.3.3　推导下界 317
17.4　ELBO 的性质 318
17.4.1　下界的紧密性 318
17.4.2　ELBO的第三种表示方式 319
17.5　变分近似 320
17.6　变分自编码器 320
17.7　重参数化技巧 323
17.8　应用 323
17.8.1　估计样本概率 323
17.8.2　生成 324
17.8.3　重合成 325
17.8.4　解耦 326
17.9　本章小结 327
17.10　注释 328
17.11　问题 331
第18章　扩散模型 333
18.1　概述 333
18.2　编码器(前向过程) 334
18.2.1　扩散核 335
18.2.2　边缘分布 337
18.2.3　条件分布 338
18.2.4　条件扩散分布 338
18.3　解码器模型(反向过程) 340
18.4　训练 340
18.4.1　证据下界 (ELBO) 341
18.4.2　简化 ELBO 341
18.4.3　分析ELBO 342
18.4.4　扩散损失函数 343
18.4.5　训练过程 343
18.5　损失函数的重参数化 344
18.5.1　目标值的参数化 345
18.5.2　网络的重参数化 346
18.6　实现 347
18.6.1　应用于图像 347
18.6.2　提高生成速度 348
18.6.3　条件生成 349
18.6.4　提高生成质量 350
18.7　本章小结 352
18.8　注释 352
18.9　问题 355
第19章　强化学习 357
19.1　马尔可夫决策过程、回报和策略 357
19.1.1　马尔可夫过程 358
19.1.2　马尔可夫奖励过程 358
19.1.3　马尔可夫决策过程 359
19.1.4　部分可观测马尔可夫决策过程 359
19.1.5　策略 360
19.2　预期回报 361
19.2.1　状态和动作价值 362
19.2.2　最优策略 363
19.2.3　贝尔曼式 363
19.3　表格型强化学习 365
19.3.1　动态规划 365
19.3.2　蒙特卡罗方法 366
19.3.3　时间差分方法 367
19.4　拟合Q学习 368
19.4.1　用于玩ATARI游戏的深度Q网络 369
19.4.2　双Q学习和双深度Q网络 370
19.5　策略梯度方法 371
19.5.1　梯度更新的推导 372
19.5.2　REINFORCE算法 374
19.5.3　基线 374
19.5.4　状态依赖的基线 375
19.6　演员-评论家方法 376
19.7　离线强化学习 377
19.8　本章小结 378
19.9　注释 378
19.10　问题 382
第20章　为什么深度网络有效 385
20.1　质疑深度学习的案例 385
20.1.1　训练 385
20.1.2　泛化 386
20.1.3　看似不合理的有效性 386
20.2　影响拟合性能的因素 387
20.2.1　数据集 387
20.2.2　正则化 387
20.2.3　随机训练算法 388
20.2.4　过度参数化 388
20.2.5　激活函数 389
20.2.6　初始化 390
20.2.7　网络深度 390
20.3　损失函数的性质 391
20.3.1　多个全局最小值 391
20.3.2　到达最小值的路径 391
20.3.3　最小值之间的联系 392
20.3.4　损失面的曲率 393
20.4　决定泛化的因素 394
20.4.1　训练算法 394
20.4.2　最小值的平坦度 395
20.4.3　架构 396
20.4.4　权重的范数 396
20.4.5　过度参数化 397
20.4.6　离开数据流形 397
20.5　我们需要这么多参数吗 398
20.5.1　剪枝 399
20.5.2　知识蒸馏 400
20.5.3　讨论 400
20.6　网络必须很深吗？ 401
20.6.1　建模函数的复杂性 401
20.6.2　训练的可行性 402
20.6.3　归纳偏差 402
20.7　本章小结 402
20.8　问题 403
第21章　深度学习和伦理 404
21.1　价值一致性 405
21.1.1　偏见与公平性 406
21.1.2　人工道德代理 408
21.1.3　透明度与不透明度 409
21.1.4　可解释性 409
21.2　故意滥用 410
21.2.1　面部识别和分析 410
21.2.2　军事化和政治干预 410
21.2.3　欺诈 411
21.2.4　数据隐私 411
21.3　其他社会、伦理和专业问题 412
21.3.1　知识产权 412
21.3.2　自动化偏见和道德技能退化 412
21.3.3　环境影响 413
21.3.4　就业和社会 413
21.3.5　权力集中 413
21.4　案例研究 414
21.5　科学的价值中立理想 414
21.6　负责任的人工智能研究作为集体行动问题 415
21.6.1　科学沟通 416
21.6.2　多样性和异质性 416
21.7　未来的方向 416
21.8　本章小结 417
21.9　问题 418
附录A　符号表示 420
附录B　数学 423
附录C　概率 432
显示部分信息
前　　言

译者序

尊敬的读者：
首先，由衷地感谢你拿起我翻译的这本《理解深度学习》(Understanding Deep Learning)。作为本书的译者，能将这本杰作呈现在中文读者面前，我备感荣幸，内心充满感激之情。
我要向本书的作者西蒙·J. D.普林斯教授致以最诚挚的谢意。感谢他创作了这样一本深入浅出、系统全面、充满洞见的深度学习著作。本书不仅揭开了深度学习的神秘面纱，更以清晰的逻辑和丰富的实例，引导读者逐步理解和掌握这一前沿技术的核心概念和应用方法。 在翻译过程中，我一次次地被作者的深刻思考所折服，也愈发体会到这本书对于想要入门或深入理解深度学习、大模型学习的读者来说，是多么宝贵和不可或缺。
感谢编辑王军老师，一次偶遇让我有了圆梦的机会！深度学习(尤其是大语言模型)作为人工智能领域的核心驱动力，正深刻改变着世界。将这样一本优秀的著作译成中文，使其能够惠及广大的中文读者，帮助朋友们理解并掌握这方面的相关原理与技术，是我的荣幸。
翻译过程既是一次充满挑战的智力探险，也是一段收获满满的学习之旅。我力求在忠实原文的基础上，尽可能地使译文流畅自然，易于理解。确保术语的准确性和表达的规范性，尽量保证精准翻译每个细节。如果有任何不确切或者谬误之处，请原谅译者的才具不足。
在此，衷心感谢在本书翻译和出版过程中给予我帮助和支持的所有朋友们。感谢付裕从头到尾给予的指点与支持。感谢合作译者马壮的支持，他完成了另一半的翻译工作。感谢朋友王志晨校对了每一句中文，让工科背景人的译作也向“信、达、雅”靠近了！感谢所有为本书的出版辛勤付出的其他人士，使得本书的中文版能以高质量的面貌呈现在大家面前。
衷心希望本书能帮助更多读者踏入深度学习、大语言模型的大门，理解其精髓，掌握其应用，并在未来的学习和工作中取得更大成就。如果我能为中国的深度学习技术发展贡献绵薄之力，那将是我最大的荣幸。
愿你在AI技术这一激动人心的探索之旅中，收获满满！

译者　张亚东

无论是在求学阶段，还是在步入职场后，很多人都会向我提出这样一个问题：“我准备进入人工智能领域进行学习或研究，你能推荐一些合适的学习资料吗？”
在当今这个信息爆炸的时代，获取学习资料的渠道并不匮乏，各类书籍和视频资源可谓琳琅满目。但我始终没有找到一本合适的“人工智能入门指南”。一部分书籍罗列了许多新颖的算法，但缺乏深入剖析，浮于表面；它们更适合作为科普读物，对于希望深入学习的读者来说，内容深度是远远不够的。一部分书籍从最基础的数学原理入手，详细列出相关公式，但学习门槛较高；而且即便完全掌握了这些原理，若想将算法落地，仍需要补充对应的编程技能。还有一部分书籍侧重实践应用，提供了大量示例代码和详细讲解，却容易让读者陷入“知其然”而“不知其所以然”的困境。
直到阅读了亚东老师推荐的Understanding Deep Learning后，我意识到终于找到理想的“指南书”了。本书从最基础的浅层神经网络入手，逐步深入，直至扩散模型，内容包罗万象。在基础模型章节中，Simon教授对每个问题的建模和公式推导都进行了细致入微的讲解；在高级模型章节中，阐述原理，还深入探讨模型的应用场景及前沿研究趋势。如果你潜心研读每一章节、每一个公式，会发现Simon教授倾注了大量心血，力求将复杂的概念以最清晰的方式呈现给读者。深度学习的难点之一在于如何理解高维空间中的问题，Simon教授通过降维和可视化手段，将梯度下降、迭代求解等抽象过程直观展现出来，极大地降低了理解门槛。本书讲解算法原理，还附有每个模型的Python Notebook源代码。无论你是具备一定数学基础的本科生，还是希望深入了解人工智能技术的软件工程师，本书都是你的最佳选择。
非常感谢亚东老师让我参与本书的翻译工作。翻译不仅是将文字从一种语言转换为另一种语言的过程，更是一次重构和深化知识体系的宝贵机会。在翻译过程中，原本零散的知识碎片被重新串联起来，形成更完整的知识框架，这对我来说是一次极为珍贵的经历。
由于时间仓促且本人学识有限，译文中难免存在疏漏与不足之处，恳请各位读者批评指正。同时，建议有能力的读者直接阅读Simon教授的原文，相信你一定会从中获得更多启发与收获。

译者　马壮

序言

这是一本最新的权威深度学习入门书籍，内容通俗易懂。本书涵盖从机器学习基础知识到高级模型的全部内容，精选了机器学习领域的核心要点和前沿课题，并直观地凝练了知识要点。
?涵盖前沿课题，如 Transformer 和扩散模型。
?用通俗易懂的语言阐述复杂的概念，并辅以数学公式和可视化图表。
?使读者能够实现简单的模型。
?提供了全面的在线资料，含 Python Notebook 中的编程练习。
?适合任何具有应用数学基础的人学习。
Simon J. D. Prince 是巴斯大学计算机科学系荣誉教授，是《计算机视觉：模型、学习和推断》一书的作者。他是一位专注于人工智能和深度学习研究的科学家，曾在Borealis AI 等公司担任研究员。
这是一部学术与视觉双重精妙的杰作。它以简洁而清晰的方式传递核心思想，并通过精心设计的插图加以诠释，堪称当今最出色的深度学习入门著作。

——Kevin Murphy
Google DeepMind研究科学家
Probabilistic Machine learning: Advanced Topics作者

前言

在学术界，深度学习的发展史极不寻常。一小群科学家坚持不懈地在一个看似没有前途的领域工作了25年，最终使一个领域发生了技术革命并极大地影响了人类社会。研究者持续探究学术界或工程界中深奥且难以解决的问题，通常情况下这些问题无法得到根本性解决。但深度学习领域是个例外，尽管广泛的怀疑仍然存在，但Yoshua Bengio、Geoff Hinton 和Yann LeCun 等人的系统性努力最终取得了成效。
本书的书名是“理解深度学习”，这意味着它更关注深度学习背后的原理，而不侧重于编程实现或实际应用。本书的前半部分介绍深度学习模型并讨论了如何训练它们，评估它们的表现并做出改进。后半部分讨论专用于图像、文本、图数据的模型架构。只要学习过线性代数、微积分和概率论的二年级本科生都能掌握这些章节的知识。对于后续涉及生成模型和强化学习的章节，则需要更多的概率论和微积分知识，它们面向更高年级的学生。
这个书名在一定程度上也是一个玩笑——在撰写本书时，没有人能够真正理解深度学习。目前深度神经网络学习的分段线性函数的数量比宇宙中的原子数还多，可用远少于模型参数数量的样本进行训练。现在我们既无法找到可靠地拟合这些函数的方法，又不能保证能很好地描述新数据。第20章讨论了上述问题和其他尚未完全理解的问题。无论如何，深度学习都将或好或坏地改变这个世界。最后一章讨论了人工智能伦理，并呼吁从业者更多地考虑所从事的工作带来的伦理问题。
本书配套资源丰富，提供教师课件、习题及Python Notebook编程练习。
你的时间是宝贵的，为了保证你能高效理解深度学习相关知识，本书的内容都经过我的精心整理。每一章都对最基本思路进行简明描述，并附有插图。附录回顾了所有数学原理。对于希望深入研究的读者，可认真研究每章列出的问题、Python Notebook资源和背景说明。

致谢

本书的出版离不开以下人士的无私帮助和建议：Kathryn Hume、Kevin Murphy、Christopher Bishop、Peng Xu、Yann Dubois、Justin Domke、Chris Fletcher、Yanshuai Cao、Wendy Tay、Corey Toler-Franklin、Dmytro Mishkin、Guy McCusker、Daniel Worrall、Paul McIlroy、Roy Amoyal、Austin Anderson、Romero Barata de Morais、Gabriel Harrison、Peter Ball、Alf Muir、David Bryson、Vedika Parulkar、Patryk Lietzau、Jessica Nicholson、Alexa Huxley、Oisin Mac Aodha、Giuseppe Castiglione、Josh Akylbekov、Alex Gougoulaki、Joshua Omilabu、Alister Guenther、Joe Goodier、Logan Wade、Joshua Guenther、Kylan Tobin、Benedict Ellett、Jad Araj、Andrew Glennerster、Giorgos Sfikas、Diya Vibhakar、Sam Mansat-Bhattacharyya、Ben Ross、Ivor Simpson、Gaurang Aggarwal、Shakeel Sheikh、Jacob Horton、Felix Rammell、Sasha Luccioni、Akshil Patel、Mark Hudson、Alessandro Gentilini、Kevin Mercier、Krzysztof Lichocki、Chuck Krapf、Brian Ha、Chris Kang、Leonardo Viotti、Kai Li、Himan Abdollahpouri、Ari Pakman、Giuseppe Antonio Di Luna、Dan Oneat?、Conrad Whiteley、Joseph Santarcangelo、Brad Shook、Gabriel Brostow、Lei He、Ali Satvaty、Romain Sabathé、Qiang Zhou、Prasanna Vigneswaran、Siqi Zheng、Stephan Grein、Jonas Klesen、Giovanni Stilo、Huang Bokai、Bernhard Pfahringer、Joseph Santarcangelo、Kevin McGuinness、Qiang Sun、Zakaria Lotfi、Yifei Lin、Sylvain Bouix、Alex Pitt、Stephane Chretien、Robin Liu、Bian Li、Adam Jones、Marcin ?wierkot、Tommy Löfstedt、Eugen Hotaj、Fernando Flores Mangas、Tony Polichroniadis、Pietro Monticone、Rohan Deepak Ajwani、Menashe Yarden Einy、Robert Gevorgyan、Thilo Stadelmann、Gui JieMiao、Botao Zhu、Mohamed Elabbas、Satya Krishna Gorti、James Elder、Helio Perroni Filho、Xiaochao Qu、Jaekang Shin、Joshua Evans、Robert Dobson、Shibo Wang、Edoardo Zorzi、Joseph Santarcangelo、Stanis?aw Jastrz?bski、Pieris Kalligeros、Matt Hewitt和Zvika Haramaty.
感谢 Daniyar Turmukhambetov、Amedeo Buonanno、Tyler Mills、Andrea Panizza和Bernhard Pfahringer 对多个章节给出的详细修改建议。尤其感谢Andrew Fitzgibbon和Konstantinos Derpanis 通读全书，你们的热情使我有动力完成本书的撰写工作。同时，感谢Neill Campbell和Özgür ?im?ek邀请我到巴斯大学讲课，在那里我基于这些材料第一次开设了一门课程。最后，尤其感谢编辑 Elizabeth Swayze 提出的中肯建议。
第12章(变换器)和第17章(变分自编码器)最初发布在Borealis AI的博客中，改编后的版本在获得许可的情况下在此转载。非常感谢他们对我工作的支持。第16章(标准化流)大致基于Kobyzev等人在2002年发表的文章，我是该文章的合著者。我很幸运能够和来自达尔豪斯大学的Travis LaCroix合作撰写第21章。他既有趣又平易近人，他承担了大部分工作。
显示部分信息
媒体评论

“本书的卓越之处在于，它既能解构复杂概念，又不减损其精妙性。……《理解深度学习》堪称一部全面且与时俱进的深度学习指南。在我看来，这是一部当之无愧的经典之作，是目前最优秀的深度学习教科书。它不仅仅是一本教材，更是一份以智慧、洞察力和前瞻性驾驭技术未来的路线图。”
——Nature Machine Intelligence
(《自然》旗下，计算机科学与AI领域国际顶级学术期刊)推荐语

“这是一部学术与视觉双重精妙的杰作。它以简洁而清晰的方式传递核心思想，并通过精心设计的插图加以诠释，堪称当今最出色的深度学习入门著作。”
——Kevin Murphy，Google DeepMind 研究科学家,
Probabilistic Machine Learning: Advanced Topics作者

人工智能的发展浩荡前行，累计出现过三次大的浪潮。第一次浪潮的符号主义困于逻辑的桎梏，第二次浪潮的连接主义受限于数据的藩篱，而作为第三次浪潮的深度学习技术则散发出魅力，为学术和产业界追捧，并持续酝酿、发酵及推动更猛烈的智能革命，被人们誉为第四次浪潮的大语言模型也正是基于深度学习。
由Simon J. D. Prince所著并由张亚东、马壮翻译的《理解深度学习》一书，从基础概念到核心技术再到最新进展，以全局视角系统性地梳理了深度学习的技术及应用发展全景，同时匹配了代码资源，是学术界和工业界有志于从事深度学习技术研究的新人上手实践不可多得的案头读物。
全书围绕深度神经网络的设计与应用展开，开篇聚焦网络训练策略以及性能评估，以奠定相关基础；继而深入解析卷积神经网络、残差连接与Transformer等关键架构的创新原理及其在各类任务中的适用性；随后剖析生成式对抗网络、变分自编码器、标准化流与扩散模型等现代生成机制，并概述深度强化学习的核心思想；结尾则从理论层面探讨深度网络的可训练性、泛化能力与参数冗余等基础问题，并从伦理角度反思深度学习技术的社会影响，内容上兼具理论深度与实践广度。
Simon教授因其具有工业界和学术界的双重经历，或许更了解那些苦于既不掌握技术细节，又难以动手实践的读者的困扰，因此本书写作风格深入浅出，配有大量的图与表以清楚地解释原本晦涩的概念，偶尔出现的公式看似枯燥，实际是有高等数学和线性代数基础读者可以轻松掌握的，也绝对是理论的有力补充。
深度学习技术及其应用已深入我们的工作与生活，如果你希望能够在这样一个智能革命的时代做一个弄潮儿，从这本书开始是个不错的选择。
——李鑫
科大讯飞AI研究院副院长，科研部部长

在AI技术飞速演进的今天，我们正迎来“从模型走向应用”的时代。无论是产业数字化升级，还是开发者的新一轮创业浪潮，人工智能的落地能力，正在成为一家公司能否穿越周期的关键变量。极客邦科技在 2025 年将“AI 应用落地”定为年度主题，正是基于这样的判断：时代的新窗口已经打开，技术理解力决定了实践行动力。
在这个背景下，我非常高兴看到Simon J.D. Prince的经典著作Understanding Deep Learning推出中文版《理解深度学习》。这本书并不只是一本理论教材，它是一部帮助读者“真正理解”深度学习的入门指南。在我们长期运营InfoQ极客传媒、极客时间和TGO鲲鹏会的过程中，经常听到工程师、架构师和CTO们吐槽：“讲 Transformer 的人太多，能讲明白的人太少；讲推理框架的人不少，但从头带你理解原理的人几乎没有。”而这本书，恰恰解决了这样的问题。
《理解深度学习》不是快餐式教学，而是一场系统思维的启蒙。它通过严谨而通俗的语言，从线性代数、概率基础一步步引导你走进深度神经网络的世界。与市面上许多“照公式堆概念”的 AI 教程不同，本书强调WHY胜于WHAT，强调“理解”胜于“记忆”。它告诉我们，只有真正明白深度学习是如何工作的，才可能在未来的工程场景中创造出具有价值的应用。
对我个人而言，本书的意义不仅在于技术层面，更在于方法论上的启发。它体现了极客邦科技在内容和教育产品设计中始终坚持的价值观：技术的传播，应该是“实践驱动”的，应该追求可理解、可推理、可迁移，而不仅仅是堆叠信息。
随着AIGC、Agent、Agentic AI等技术生态加速演进，我们越来越看到，未来的开发者既要“理解底层”，又要“善用高阶工具”；既要具备对模型机制的抽象理解，也要能把技术变成具体的生产力。这本书，是打好底层认知根基的首选。
最后，我想特别感谢清华大学出版社引进这本作品。在喧嚣的当下，需要有人静下心来，从底层逻辑入手，抽丝剥茧，为世人排除通往未来的道路上的重重障碍。所以说，《理解深度学习》不仅是一本技术书籍，更是一把钥匙，帮助我们打开AI世界的思维之门。我相信，对于每一个想在 AI 应用时代中抓住机会的读者来说，这都将是一次重要的认知启程。
——霍太稳
极客邦科技创始人兼CEO

《理解深度学习》是一本来自MIT的重磅教材，结构清晰，内容全面覆盖人工智能领域从基础到前沿的各种关键主题。作者是一位在学术界和工业界都有贡献的计算机科学家。他以直观的方式讲解复杂概念，同时结合了数学推导和可视化图示，帮助读者实现理论与实践的对接。无论是初学者，还是希望系统梳理AI知识的从业者，都能从中受益。
——李烨
微软AI亚太区首席应用科学家

由深度学习引领的人工智能技术正在为各行各业带来巨大的范式创新。《理解深度学习》一书以精炼的文笔对深度学习这一复杂的理论体系抽丝剥茧，简明不失深刻，前沿不失实用，是系统掌握深度学习的佳作。
——李建忠
全球机器学习技术大会主席，CSDN高级副总裁

《理解深度学习》是一部极具时代价值的经典教材。与传统教材不同，Simon J.D. Prince教授巧妙地在理论深度与实用性之间找到了平衡点，既避免了纯理论的晦涩，又不陷入代码实现的琐碎细节。我尤其欣赏本书对Transformer和扩散模型等前沿架构的深入剖析，这正是当前大模型技术的核心基石。书中通过精心设计的图表和直观解释，将复杂概念化繁为简，让读者真正“理解”而非仅仅“使用”深度学习。张亚东、马壮两位专家的翻译精准流畅，既保留原著的学术精髓，又贴合中文表达，有专门的章节探讨AI伦理与社会责任。对想在飞速迭代的AI浪潮中抓住技术本质的中文读者，本书是首选的入门与进阶指南。
——王昊奋
OpenKG轮值主席，同济大学特聘研究员

在人工智能重塑人类文明边界的今天，Simon教授的《理解深度学习》犹如一盏明灯，既照亮了技术进化的底层逻辑，又烛照了伦理思考的精神维度。这部权威著作完美平衡了学术深度与教学温度，堪称深度学习领域的“概念罗盘”。无论你是渴望夯实理论根基的开发者，还是探寻智能本质的思想者，都能在这部兼具学术严谨性与思维启发性的作品中获得双重提升。在这个算法重构世界的时代，本书不仅是通向技术内核的通行证，更是一份关于智能文明的责任宣言。正如作者的观点：“我们或许尚未真正理解深度学习，但绝不能停止理解它的努力。”这部著作，正是这场认知远征的最佳向导。
——茹炳晟
腾讯Tech Lead，腾讯研究院特约研究员，
中国计算机学会CCF TF研发效能SIG主席

作为一名长期致力于集成电路领域教学与研究的教育工作者，我非常荣幸地向各位郑重推荐这本名为《理解深度学习》的优秀著作。
集成电路是现代科技的基石，尤其在人工智能时代，高性能、低功耗的芯片更是驱动AI技术发展的核心引擎。深度学习作为人工智能领域的核心技术之一，正以前所未有的速度渗透到集成电路的各个环节，从面向AI应用的芯片架构设计、智能化的设计、自动化工具开发，到利用AI进行电路性能优化和故障诊断，再到基于新型存储器实现高效的AI计算，都展现出巨大潜力。可以预见，未来的集成电路发展将更加紧密地契合AI领域的需求。
《理解深度学习》一书系统而深入地介绍了深度学习的基本原理和核心架构，如卷积神经网络、循环神经网络，以及近年来备受瞩目的生成式对抗网络、扩散模型和Transformer等。这些内容不仅能帮助集成电路领域的学生和研究人员快速掌握深度学习的关键技术，更能启发工程师们思考如何设计出更高效、更智能的芯片，以满足日益增长的AI算力需求，并探索将这些先进的算法直接部署到芯片上的可能性，实现软硬件的深度融合。
我相信，这本书的出版将成为连接集成电路领域与深度学习领域的桥梁，促进跨学科的交流与合作，加速人工智能技术在集成电路领域的创新应用，并推动设计出更智能、更强大的AI芯片。我诚挚地希望《理解深度学习》能够成为你探索人工智能奥秘、赋能集成电路事业的得力助手。
——叶乐
北京大学集成电路学院/博雅教授

作为多年从事人工智能领域研究的教育工作者，我非常荣幸能为《理解深度学习》这本杰出的著作撰写推荐序。
作为人工智能领域的核心技术，深度学习(尤其是大语言模型)近年来取得了令人瞩目的成就，深刻地改变了我们的生活和工作方式。然而，深度学习的理论基础和内部机制相对复杂，对于初学者来说，往往存在一定的学习门槛。
《理解深度学习》这本书的出现，恰好弥补了这一缺憾。本书以清晰易懂的语言，深入浅出地介绍了深度学习(包括大语言模型)的基本概念、原理和方法。作者通过丰富的、深入浅出的讲解，让零基础的读者也能像搭积木一样，一步步掌握深度学习的核心魔法，并逐步掌握深度学习的核心技术。
本书的亮点总结如下。
•系统全面的知识体系：本书涵盖深度学习的各个方面，从基础知识到各类模型应用方向，构建了一个完整的知识体系，帮助读者全面了解深度学习。
•深入浅出的讲解方式：作者采用通俗易懂的语言，配合丰富的图表和公式，将复杂的概念和理论转化为易于理解的知识，降低了学习难度。
•理论与实践相结合：本书不仅介绍了深度学习的理论知识，还提供了一定量的习题，帮助读者更好地掌握所学知识和理论。
本书的中文翻译版，更是为广大中文读者提供了一个便捷的学习途径。我相信，无论是初学者还是专业人士，都能从本书中获益匪浅。
我强烈推荐《理解深度学习》这本书，相信它将成为你学习深度学习的得力助手。
——郭艳卿
大连理工大学未来技术学院/人工智能学院副院长