理解深度学习（Understanding Deep Learning）
2023年5月8日，来自巴斯大学计算机科学教授Simon J.D. Prince更新了自己的最新著作《理解深度学习》，该书将在MIT出版社出版。
简介
全书共21章，第11章的残差网络、第12章为Transformer，第13章为图神经网络，第15-18章围绕生成式AI介绍了生成对抗网络、正则化流、变分自编码、扩散模型.....
目录：
Chapter 1 - 导论 Introduction
Chapter 2 - 监督学习 Supervised learning
Chapter 3 - 浅层神经网络 Shallow neural networks
Chapter 4 - 深度神经网络 Deep neural networks
Chapter 5 - 损失函数 Loss functions
Chapter 6 - 训练模型 Training models
Chapter 7 - 梯度与初始化 Gradients and initialization
Chapter 8 - 度量性能 Measuring performance
Chapter 9 - 正则化 Regularization
Chapter 10 - 卷积网络 Convolutional nets
Chapter 11 - 残差网络 Residual networks and BatchNorm
Chapter 12 - Transformers
Chapter 13 - 图神经网络 Graph neural networks
Chapter 14 - 无监督学习 Unsupervised learning
Chapter 15 - 生成对抗网络 Generative adversarial networks
Chapter 16 - Normalizing flows
Chapter 17- 变分自编码器 Variational auto-encoders
Chapter 18 - 扩散模型 Diffusion models
Chapter 19 - 深度强化学习 Deep reinforcement learning
Chapter 20 - 为什么深度学习有效 Why does deep learning work?
Chapter 21- 深度学习与伦理 Deep learning and ethics
书籍网络链接地址：
github主页：
前言：
深度学习的历史在科学界是不寻常的。一小群科学家坚持不懈地在一个看似没有前途的领域工作了25年，却使一个领域发生了革命性的变化，并极大地影响了社会。通常，当研究人员研究科学或工程中深奥而显然不切实际的角落时，它仍然是深奥而不切实际的。然而，这是一个明显的例外。尽管存在广泛的怀疑，Yoshua Bengio, Geoff Hinton, Yann LeCun等人的系统努力最终取得了成效。这本书的标题是“理解深度学习”，以区别于涵盖编码和其他实用方面的书籍。这篇文章主要是关于深度学习背后的想法。本书的第一部分介绍了深度学习模型，并讨论了如何训练它们，衡量它们的性能，并提高这种性能。下一部分考虑专门用于图像、文本和图形数据的体系结构。这些章节只需要介绍线性代数、微积分和概率论，并且应该适合任何一门定量学科的二年级本科生。本书的后续部分涉及生成模型和强化学习。这些章节需要更多的概率和微积分知识，目标是更高级的学生。这个标题在一定程度上也是一个笑话——在撰写本文时，没有人真正理解深度学习。现代深度网络学习分段线性函数的区域比宇宙中原子的数量还多，并且可以用比模型参数更少的数据样本进行训练。我们应该能够可靠地拟合这些函数，或者它们应该很好地推广到新数据，这既不明显。倒数第二章讨论了这些和其他尚未完全理解的方面。无论如何，深度学习将或好或坏地改变世界。最后一章讨论了人工智能伦理，并呼吁从业者考虑他们工作的道德含义。您的时间是宝贵的，我已经努力整理和呈现这些材料，以便您尽可能有效地理解它。每一章的主体都是对最基本思想的简明描述，并附有插图。附录回顾了所有数学先决条件，不需要参考外部材料。对于希望深入研究的读者，每章都有相关的问题、Python笔记和广泛的背景说明。写一本书是一个孤独、艰苦、多年的过程，只有当这本书被广泛采用时才值得。如果你喜欢读这篇文章，或者有改进它的建议，请通过附带的网站与我联系。我很乐意听到您的想法，这将为后续版本提供信息和激励。
精彩插图：
