*本文 2200 字左右

这里，再介绍一下约翰·卡马克（John Carmack）

本书作者

许可：A non-commercial Creative Commons license

书籍目录

List of figures 7

Foreword 8

I Foundations 10

1 Machine Learning 11

1.1 Learning from data . . . . . . . 12

1.2 Basis function regression . . . . 14

1.3 Under and overfitting . . . . . . 16

1.4 Categories of models . . . . . . 18

2 Efficient computation 20

2.1 GPUs, TPUs, and batches . . . . 21

2.2 Tensors . . . . . . . . . . . . . . 23

3 Training 25

3.1 Losses . . . . . . . . . . . . . . 26

3.2 Autoregressive models . . . . . 30

3.3 Gradient descent . . . . . . . . 35

3 3.4 Backpropagation . . . . . . . . 40

3.5 The value of depth . . . . . . . 45

3.6 Training protocols . . . . . . . 48

3.7 The benefits of scale . . . . . . 51

II Deep models 56

4 Model components 57

4.1 The notion of layer . . . . . . . 58

4.2 Linear layers . . . . . . . . . . . 60

4.3 Activation functions . . . . . . 70

4.4 Pooling . . . . . . . . . . . . . . 73

4.5 Dropout . . . . . . . . . . . . . 76

4.6 Normalizing layers . . . . . . . 79

4.7 Skip connections . . . . . . . . 83

4.8 Attention layers . . . . . . . . . 86

4.9 Token embedding . . . . . . . . 94

4.10 Positional encoding . . . . . . . 95

5 Architectures 97

5.1 Multi-Layer Perceptrons . . . . 98

5.2 Convolutional networks . . . . 100

5.3 Attention models . . . . . . . . 107

III Applications 115

6 Prediction 116

6.1 Image denoising . . . . . . . . . 117

6.2 Image classification . . . . . . . 119

6.3 Object detection . . . . . . . . . 120

4 6.4 Semantic segmentation . . . . . 125

6.5 Speech recognition . . . . . . . 128

6.6 Text-image representations . . . 130

6.7 Reinforcement learning . . . . . 133

7 Synthesis 137

7.1 Text generation . . . . . . . . . 138

7.2 Image generation . . . . . . . . 141

The missing bits 145

Bibliography 150

Index 159

目录 5

插图目录 7

前言 8

I 基础 10

1 机器学习 11

1.1 从数据学习 . . . . . . . 12

1.2 基函数回归 . . . . . 14

1.3 欠拟合与过拟合 . . . . . . 16

1.4 模型类别 . . . . . . . 18

2 高效计算 20

2.1 GPU、TPU 和批处理 . . . . 21

2.2 张量 . . . . . . . . . . . . . . 23

3 训练 25

3.1 损失 . . . . . . . . . . . . . 26

3.2 自回归模型 . . . . . . . 30

3.3 梯度下降 . . . . . . . . 35

3.4 反向传播 . . . . . . . . 40

3.5 深度的价值 . . . . . . . 45

3.6 训练协议 . . . . . . . . 48

3.7 规模的好处 . . . . . . . 51

II 深度模型 56

4 模型组件 57

4.1 层的概念 . . . . . . . 58

4.2 线性层 . . . . . . . . . . . 60

4.3 激活函数 . . . . . . . 70

4.4 池化 . . . . . . . . . . . . . 73

4.5 Dropout . . . . . . . . . . . . 76

4.6 归一化层 . . . . . . . . 79

4.7 跳跃连接 . . . . . . . . 83

4.8 注意力层 . . . . . . . . . 86

4.9 令牌嵌入 . . . . . . . . 94

4.10 位置编码 . . . . . . . . 95

5 架构 97 5.1 多层感知器 . . . . . . . 98

5.2 卷积网络 . . . . . . . . 100

5.3 注意力模型 . . . . . . . . 107

III 应用 115

6 预测 116

6.1 图像去噪 . . . . . . . . . 117

6.2 图像分类 . . . . . . . . 119

6.3 物体检测 . . . . . . . . . 120

6.4 语义分割 . . . . . . . . 125

6.5 语音识别 . . . . . . . . 128

6.6 文本 - 图像表示 . . . . 130

6.7 强化学习 . . . . . . . . 133

7 综合 137

7.1 文本生成 . . . . . . . . 138

7.2 图像生成 . . . . . . . . 141

其他部分 145

参考文献 150

索引 159

参考资料：

1.John Carmack on X: "This is a great little book to take you from “vaguely understand neural networks” to the modern broad state of practice. I saw very little to quibble with. https://t.co/4zbAxKv5Vq" / X (twitter.com)

2/The Little Book of Deep Learning (fleuret.org)