电子工业出版社-网上书店

深度学习是人工智能领域无法避开的课题之一，也是比较强大的方法之一。很多从事算法工作或相关工作的人，或多或少都在应用深度学习方法解决相关领域的问题。本书针对深度学习知识做进阶性探讨。通过11章内容，对卷积网络、新型结构、注意力机制、模型压缩、自监督学习、目标检测中的高级技巧、无监督学习、Transformer高级篇，以及图神经网络和元学习进行了深入的探讨，最后对深度学习的未来发展进行了展望。

第1章  卷积网络	1
1.1  转置卷积	2
1.1.1  概念	2
1.1.2  运算过程	2
1.1.3  应用场景	5
1.2  空洞卷积	7
1.2.1  概念	7
1.2.2  工作原理	8
1.2.3  应用场景	10
1.3  深度可分离卷积	11
1.3.1  概念	11
1.3.2  工作原理	11
1.3.3  应用场景	15
1.4  三维卷积	15
1.4.1  概念	15
1.4.2  工作原理	16
1.4.3  应用场景	19
第2章  新型结构	20
2.1  残余连接	20
2.2  ResNeXt原理及架构	23
2.3  FCN原理及架构	28
2.4  U-Net原理及架构	32
2.5  FPN原理及架构	36
第3章  注意力机制	43
3.1  注意力机制的生物学原理及数学本质	43
3.2  应用于RNN的注意力机制	48
3.3  自注意力的数学支撑：像素间的协方差	53
3.4  自注意力机制的直观展示及举例	58
3.5  Transformer中的注意力机制	60
3.6  挤压激励网络	66
3.7  Transformer编码器代码	69
3.8  Transformer词嵌入中融入位置信息	77
第4章  模型压缩	84
4.1  模型压缩的必要性及常用方法	84
4.2  修剪深度神经网络	87
4.3  模型量化	90
4.4  知识蒸馏	96
4.4.1  知识蒸馏的实现步骤	97
4.4.2  软目标的作用	97
4.4.3  蒸馏“温度”	100
4.4.4  特征蒸馏	102
第5章  自监督学习	105
5.1  什么是自监督学习	105
5.2  Bert中的自监督学习	106
第6章  目标检测中的高级技巧	110
6.1  特征融合	110
6.2  DenseNet与ResNet	111
6.3  晚融合及特征金字塔网络	115
6.4  YOLOv3中的三级特征融合	118
6.5  通过多尺度特征图跳过连接改进SSD方法	120
第7章  无监督学习	123
第8章  Transformer高级篇	125
8.1  计算机视觉中的Transformer	125
8.1.1  什么是ViT	125
8.1.2  ViT详解	127
8.2  DeiT：以合理的方式训练ViT	129
8.3  金字塔视觉Transformer	131
8.3.1  PVT整体架构	132
8.3.2  SRA的实现	133
8.3.3  PVT的改进	134
8.4  Swin Transformer：使用“移动窗口”的分层ViT	136
8.5  视觉Transformer的自监督训练：DINO	140
8.5.1  DINO架构	140
8.5.2  中心化和“教师”网络权重更新	142
8.5.3  DINO代码实践伪码和效果展示	142
8.6  缩放视觉Transformer	145
8.7  一些有趣的进展	146
8.7.1  替代自注意力机制	147
8.7.2  多尺度视觉Transformer（MViT）	149
8.7.3  完全基于Transformer的视频理解框架	151
8.7.4  语义分割中的ViT（SegFormer）	152
8.7.5  医学成像中的ViT	156
第9章  图神经网络	160
9.1  图数据	161
9.1.1  图像作为图数据	162
9.1.2  文本作为图数据	162
9.1.3  天然的图数据	163
9.2  图上的预测任务	165
9.3  图神经网络构建应用	168
9.3.1  最简单的GNN	168
9.3.2  通过聚合信息进行GNN预测	169
9.3.3  在图的各属性之间传递消息	171
9.3.4  学习边缘表示	172
9.3.5  添加全局表示	172
第10章  元学习	174
10.1  什么是元学习	174
10.2  机器学习与元学习	175
10.2.1  机器学习简介	175
10.2.2  元学习简介	177
10.2.3  机器学习与元学习	181
10.3  模型无关的元学习：MAML	183
10.3.1  MAML简介	183
10.3.2  MAML特点	183
10.3.3  MAML为什么能够起作用	184
参考文献	186

前言
市面上已经有很多关于深度学习的优秀图书了，为什么我们还要撰写这本书呢？我从事深度学习相关工作已经近十个年头，大大小小的项目做了不下几十个。在工作过程中，我发现不少同事遇到问题都是“拿来主义”，喜欢在网上找SOTA的开源算法直接使用，但在自己的项目中发现并没有达到SOTA的效果。究其原因是，“拿来主义”的人并不了解开源作者的思路和意图，对于网络结构为什么这样设计，以及在自己的项目中该如何修改的问题，是非常茫然的。此外，还有很多这样的情况，有些学生，甚至已经毕业有段时间了，水平却仍停留在基础入门阶段。经过交谈，我发现他们是不知道如何进一步提升自己的水平。本书旨在帮助那些处于进阶阶段的读者快速进阶，使其告别彷徨阶段，找到学习方向。
那么为什么要阅读这本书呢？本书并不是一本入门类书籍，不是“从入门到精通”类的书籍，也不敢承诺读了此书就“精通”深度学习了，因为这世上并没有天下无敌的秘籍。本书面向具备一定的深度学习知识，而且了解AlexNet、VGG、Inception等基线网络的读者；本书涵盖了近些年深度学习发展所涉及的方方面面，希望能起到抛砖引玉的作用，也希望能帮助处于迷茫彷徨阶段的读者找到研究方向。

本书配套资源下载

对不起，暂无音视频资源！

深度学习的高级议题