电子工业出版社-网上书店

大语言模型（Large Language Model，LLM）是人工智能领域研究和应用的前沿焦点，现已成为人工智能发展的新方向和新一代人工智能的基础设施。本书较系统地介绍了语言大模型的基本内容，主要包括发展语言大模型的三次热潮、深度学习基础、注意力机制、残差链接与逐层归一化、Transformer模型、预训练语言模型、LLM结构与训练、迁移学习、人类反馈强化学习、元学习、GPT系列LLM、BERT模型、T5模型、统一语言模型和提示工程等。本书适合作为本科院校相关专业的教材。

目   录
第1章  大语言模型概述	1
1.1  LLM的产生与发展	1
1.1.1  LLM的产生	2
1.1.2  LLM的发展	2
1.2  LLM的特点与分类	4
1.2.1  LLM的特点	4
1.2.2  LLM的分类	5
1.3  自然语言处理与LLM	6
1.3.1  自然语言处理	6
1.3.2  LLM的主要功能	9
1.3.3  LLM扩展法则	10
1.3.4  LLM的涌现现象与涌现能力	12
1.4  LLM技术	13
1.4.1  LLM基本技术	13
1.4.2  LLM关键技术	14
1.4.3  LLM知识体系与人工智能引擎	16
1.4.4  LLM的评价指标	19
1.5  LLM应用场景与LLM下游任务	19
1.5.1  LLM应用场景	20
1.5.2  LLM下游任务	20
1.5.3  LLM应用场景与LLM下游任务的区别	20
本章小结	20
第2章  深度学习基础	21
2.1  深度学习概述	21
2.1.1  深度学习的产生与发展	21
2.1.2  深度学习的内涵与外延	22
2.2  机器学习方式	24
2.2.1  监督式学习方式	25
2.2.2  无监督式学习方式	27
2.2.3  半监督式学习方式	27
2.2.4  强化学习方式	28
2.3  增强泛化能力方法	28
2.3.1  泛化能力与泛化误差	28
2.3.2  拟合	29
2.3.3  逼近正确拟合的方法	29
2.3.4  超参数和验证集	31
2.4  神经网络模型基础	33
2.4.1  神经网络模型及特点	33
2.4.2  学习方式与学习规则	39
2.4.3  神经网络学习原理	47
2.5  深度学习	48
2.5.1  神经网络与深度学习	48
2.5.2  深度学习在LLM中的应用	51
2.6  模型评价指标	52
2.6.1  混淆矩阵	52
2.6.2  评价模型的主要参数	53
本章小结	55
第3章  注意力机制	56
3.1  编码器?解码器架构	56
3.1.1  编码器功能与解码器功能	57
3.1.2  编码器?解码器框架	57
3.1.3  序列到序列模型	61
3.2  注意力机制特点与计算	63
3.2.1  注意力机制特点	63
3.2.2  注意力机制的计算过程	64
3.3  自注意力模型	67
3.3.1  自注意力机制的核心思想	67
3.3.2  自注意力模型计算	67
3.3.3  注意力机制与自注意力机制比较	71
3.3.4  多头注意力计算	71
3.4  NLP注意力机制	74
3.4.1  软注意力机制	74
3.4.2  硬注意力机制	75
3.4.3  局部注意力机制	77
3.4.4  点积注意力机制	78
3.4.5  加性注意力机制	79
3.4.6  稀疏注意力机制	80
3.5  注意力机制与编码器?解码器结构	81
3.5.1  在编码器?解码器中引入注意力机制	81
3.5.2  注意力机制的优势与应用场景	82
本章小结	83
第4章  残差连接与逐层归一化	84
4.1  逐层归一化	84
4.1.1  BN的计算过程与训练	85
4.1.2  BN层的作用	86
4.2  残差与残差分析	87
4.2.1  残差	87
4.2.2  残差分析	88
4.3  残差模块	89
4.3.1  残差模块的结构	89
4.3.2  残差模块的类型	91
4.3.3  残差模块的优势	93
4.4  逐层归一化与残差连接在LLM中的应用	94
4.4.1  逐层归一化在LLM中的应用	94
4.4.2  残差连接在LLM中的应用	94
本章小结	95
第5章  Transformer模型	96
5.1  Transformer模型术语与特点	96
5.1.1  Transformer模型术语	96
5.1.2  Transformer模型特点	97
5.2  Transformer模型结构	97
5.2.1  Transformer模型架构	98
5.2.2  Transformer模型位置向量	98
5.2.3  Transformer模型编码器	101
5.2.4  Transformer模型解码器	106
5.2.5  基于Transformer模型的机器翻译	114
5.3  Transformer模型推理与训练	117
5.3.1  Transformer模型推理	117
5.3.2  Transformer模型训练所涉及的结构	119
5.3.3  Transformer模型训练关键步骤	123
5.3.4  Transformer模型并行训练与测试	124
5.4  Transformer-XL模型	126
5.4.1  长文本问题与解决策略	126
5.4.2  Transformer-XL模型技术	127
本章小结	135
第6章  预训练语言模型	137
6.1  PLM特点、结构与分类	138
6.1.1  PLM特点	138
6.1.2  PLM结构	140
6.1.3  PLM分类	141
6.2  自回归语言模型	142
6.2.1  自回归语言模型原理	142
6.2.2  自回归语言模型结构	143
6.2.3  解码器自回归语言模型构建过程	144
6.2.4  训练和推理的局限性	145
6.3  自编码语言模型	145
6.3.1  自编码语言模型原理	145
6.3.2  自编码语言模型结构	145
6.3.3  自编码语言模型训练	146
6.4  编码器?解码器预训练语言模型	146
6.4.1  编码器?解码器预训练语言模型原理	146
6.4.2  编码器?解码器预训练语言模型结构	148
6.5  前缀语言模型	148
6.5.1  前缀语言模型原理	148
6.5.2  前缀语言模型结构	149
6.6  排列语言模型	150
6.6.1  排列语言模型原理	151
6.6.2  排列语言模型结构	151
6.6.3  排列语言模型的特点与应用	153
6.6.4  排列语言模型结构比较	153
6.7  PLM训练	153
6.7.1  预训练过程与作用	154
6.7.2  预训练策略	156
6.7.3  预训练与微调比较	158
6.8  PLM微调	158
6.8.1  微调方法分类	158
6.8.2  高效微调	159
6.8.3  P-Tuning微调	160
6.8.4  指令微调	161
6.8.5  LoRA微调	163
6.8.6  前缀调优	165
6.8.7  Prompt微调	166
6.8.8  RLHF微调	170
6.8.9  微调输出层	171
6.9  PLM应用方法	172
6.9.1  PLM的应用过程	172
6.9.2  应用于文本生成过程	173
本章小结	174
第7章  LLM结构与训练	175
7.1  LLM结构	175
7.1.1  LLM架构	175
7.1.2  LLM架构选择	177
7.1.3  LLM构建	178
7.1.4  LLM评估	179
7.2  LLM结构优化	181
7.2.1  LLM优化目标	181
7.2.2  LLM优化部分介绍	182
7.2.3  LLM数据增强	194
7.2.4  LLM分词器	196
7.2.5  LLM数据预处理	200
7.3  词向量	203
7.3.1  自然语言表示学习	203
7.3.2  Word2Vec模型词向量	204
7.3.3  静态词向量与动态词向量	206
7.4  LLM训练	206
7.4.1  LLM训练的基本策略与方法	206
7.4.2  LLM的分布训练	208
7.4.3  LLM的并行训练	209
7.4.4  LLM的分布式并行训练	210
本章小结	212
第8章  迁移学习	213
8.1  迁移学习概述	213
8.1.1  同分布数据	213
8.1.2  迁移学习原理	214
8.2  迁移学习分类与实现	217
8.2.1  迁移学习分类准则	217
8.2.2  典型的迁移学习	218
8.2.3  迁移学习的实现	221
8.3  深度迁移学习	222
8.3.1  深度神经网络的可迁移性	222
8.3.2  深度迁移学习的自适应方法	226
8.3.3  生成对抗迁移网络	229
8.4  迁移学习的应用场景与方法	231
8.4.1  迁移学习的应用场景	231
8.4.2  迁移学习方法	231
8.4.3  迁移学习在LLM中的应用	232
本章小结	234
第9章  人类反馈强化学习	235
9.1  强化学习原理	236
9.1.1  智能体及其特性	236
9.1.2  强化学习模型与工作过程	237
9.1.3  强化学习算法分类	240
9.2  SARSA算法	241
9.2.1  SARSA算法基本原理	242
9.2.2  SARSA算法流程	243
9.2.3  SARSA(λ)算法	246
9.3  Q-Learning算法	248
9.3.1  Q-Learning算法基本原理	249
9.3.2  Q-Learning算法流程	250
9.3.3  Q-Learning算法与SARSA算法比较	252
9.4  基于人类反馈强化学习的模型与算法	252
9.4.1  人类反馈强化学习模型	253
9.4.2  人类反馈强化学习算法	253
9.4.3  基于人类反馈强化学习算法的LLM预训练	254
9.4.4  近端策略优化算法	257
9.4.5  人类反馈强化学习模型的优势与特点	261
本章小结	264
第10章  元学习	265
10.1  元学习概述	265
10.1.1  元学习的基本原理	265
10.1.2  元学习的基本特点	266
10.2  元学习基本方法	268
10.2.1  元学习的主要工作	268
10.2.2  元学习过程	270
10.3  MAML模型	273
10.3.1  MAML模型的相关概念	273
10.3.2  MAML算法分析	275
10.3.3  MAML算法流程	276
10.4  小样本学习	278
10.4.1  问题的提出与先验范式的构建	278
10.4.2  小样本学习方法	279
10.4.3  小样本相似度学习	282
10.5  元学习的应用	285
10.5.1  元学习在LLM中的主要应用场景	285
10.5.2  元学习在LLM中的应用实例	286
本章小结	287
第11章  GPT系列LLM	288
11.1  GPT系列模型概述	288
11.1.1  GPT系列模型的特点	289
11.1.2  GPT系列模型的结构	290
11.1.3  GPT系列模型的训练过程	291
11.2  GPT-1模型（2018）	293
11.2.1  GPT-1模型的特点	293
11.2.2  GPT-1模型的结构与训练	294
11.2.3  GPT-1不同下游任务的输入转换	298
11.3  GPT-2模型（2019）	298
11.3.1  GPT-2模型的特点	298
11.3.2  GPT-2模型的结构	299
11.3.3  Zero-Shot方法	302
11.4  GPT-3模型（2020）	303
11.4.1  GPT-3模型的特点	303
11.4.2  GPT-3模型的结构	304
11.4.3  GPT-3模型训练核心突破	304
11.5  GPT-3.5模型（2023）	307
11.5.1  GPT-3.5模型的特点	307
11.5.2  GPT-3.5模型的结构	308
11.5.3  GPT-3.5模型训练	309
11.6  ChatGPT模型	311
11.6.1  ChatGPT模型的主要特点	311
11.6.2  ChatGPT模型的训练过程	312
11.7  GPT-4模型	313
11.7.1  GPT-4模型的创新	313
11.7.2  GPT-4模型的应用场景展望	314
11.7.3  GPT能力进化路径	315
本章小结	316
第12章  BERT模型	317
12.1  BERT模型特点与结构	317
12.1.1  BERT模型的特点	317
12.1.2  BERT模型是语言表示模型	318
12.1.3  BERT模型的上下游任务	320
12.2  BERT模型结构与目标函数	321
12.2.1  BERT模型的结构	321
12.2.2  BERT模型目标函数	323
12.3  BERT模型输入	325
12.3.1  BERT模型嵌入	325
12.3.2  BERT模型输入过程	328
12.4  BERT模型预训练	329
12.4.1  掩码语言模型任务训练	329
12.4.2  下一句预测任务训练	331
12.5  BERT模型的微调	332
12.5.1  BERT模型的微调任务	332
12.5.2  BERT模型的微调过程	333
12.6  上下文依赖与词多义性问题及其解决方法	334
12.6.1  上下文依赖与词多义性问题	334
12.6.2  BERT模型解决上下文依赖问题	335
12.6.3  BERT模型解决词多义性问题	336
本章小结	336
第13章  T5模型	337
13.1  T5模型的特点与功能	337
13.1.1  T5模型的主要特点	338
13.1.2  T5模型的主要功能	338
13.1.3  统一的文本到文本范式	339
13.1.4  T5模型的优势	340
13.2  T5模型理念与结构	341
13.2.1  T5模型的核心理念	341
13.2.2  T5模型的结构	342
13.2.3  T5模型在Transformer模型上的结构改变	344
13.3  T5模型训练	347
13.3.1  T5模型训练特点	347
13.3.2  T5模型训练过程	348
13.3.3  T5模型训练的长文本处理	350
13.3.4  T5模型预训练	350
13.3.5  T5模型微调	352
13.3.6  T5模型训练数据集	354
13.4  T5模型与GPT模型、BERT模型比较	356
13.4.1  T5模型与GPT模型比较	356
13.4.2  T5模型与BERT模型比较	357
13.5  T5模型应用	358
13.5.1  T5模型应用领域	358
13.5.2  T5模型应用需考虑的因素	359
本章小结	359
第14章  统一语言模型	360
14.1  UniLM模型概述	360
14.1.1  UniLM模型的特点	360
14.1.2  UniLM模型的功能	361
14.2  UniLM模型结构	363
14.2.1  UniLM模型架构	363
14.2.2  UniLM模型结构与创新	364
14.2.3  共享Transformer模型网络	365
14.3  掩码模式技术	366
14.3.1  掩码模式技术关键点	366
14.3.2  UniLM模型掩码模式实现方式	368
14.3.3  UniLM模型自注意力掩码	370
14.4  UniLM模型输入与训练	373
14.4.1  UniLM模型的输入表示	373
14.4.2  UniLM模型的预训练目标与任务	375
14.4.3  UniLM模型微调	378
14.4.4  UniLM模型的零样本学习能力	379
本章小结	381
第15章  提示工程	382
15.1  提示工程概述	382
15.1.1  提示词与提示工程	382
15.1.2  LLM文本生成的解码策略	384
15.2  提示词格式	389
15.2.1  提示词基本格式	389
15.2.2  指令型提示词格式	390
15.2.3  问题型提示词格式	390
15.2.4  描述型提示词格式	390
15.2.5  提示词增强格式	391
15.2.6  不同任务的提示词	395
15.2.7  优质提示词	396
15.3  提示工程技术	397
15.3.1  少样本提示	398
15.3.2  思维链提示	398
15.3.3  自洽性提示	400
15.3.4  提示模板设计	401
本章小结	404
参考文献	406

在国际人工智能领域，大语言模型已成为研究与应用的前沿焦点。ChatGPT 的推出引发了广泛的社会关注，并引发了关于大语言模型是否会催生新一轮行业变革，甚至是新一次工业革命的讨论。大语言模型作为 ChatGPT 等生成式人工智能技术产品的核心技术基座，正在快速改变产业格局，孕育全新用户交互模式，形成舆论引导、社会治理、信息服务等方面的不对称优势。 
当前，我国人工智能基础大语言模型在研究、应用及产业化发展方面，正处于从模仿追赶迈向创新引领的关键时期。大语言模型的快速发展给全球科技创新带来了全新挑战，具体包括超大算力需求、超大规模数据需求、全新模型训练算法与框架，以及安全可信的软硬件系统需求。其应用需求也更加动态多样，这就需要对大语言模型的不同层次展开深入研究。发展可媲美人类智能的人工智能系统已成为人工智能领域研究的宏大目标，并获得国际共识。 
大语言模型被认为是通向强人工智能的重要途径之一，已成为人工智能发展的新方向、新一代人工智能的基础设施。人工智能大语言模型已成为国际科技“必争之地”，实现国产全自研、自主可控的人工智能基础大语言模型迫在眉睫。当下，我国人工智能基础模型的研究、应用与产业化发展正处于从模仿追赶转向创新引领的关键时期。 
本书正是在这样的环境与背景下编写的。它详细阐述了大语言模型的结构、训练方法及应用。本书内容从构建与训练大语言模型所需的知识、理论和方法逐步展开。本书共 15 章，知识结构呈积木状，各章内容相互独立。并且，从学习大语言模型知识的角度出发，合理构造了各章的顺序，前章是后章的基础。 
首先，第 1 章主要概述了大语言模型的产生与发展、特点与分类、功能、技术与应用。通过学习这一章，读者可以对大语言模型有一个总体的概括性认识。考虑到大语言模型是个深度学习模型，第 2 章从应用基础角度介绍了深度学习，主要内容包括深度学习概述、机器学习方式、增强泛化能力方法、神经网络模型基础、深度学习、模型评价指标等。考虑到注意力机制是构造 Transformer 模型的精髓，所以第 3 章主要介绍了注意力机制特点与计算、自注意力模型、自然语言处理注意力机制等。由于残差链接与逐层归一化是 Transformer 模型不可或缺的组件，所以第 4 章主要介绍了逐层归一化、残差与残差分析、残差模块、逐层归一化与残差链接在大语言模型中的应用等。由于 Transformer 模型是构建大语言模型的发动机，所以第 5 章主要介绍了 Transformer 模型术语与特点、Transformer 模型结构、Transformer 模型推理与训练、Transformer-XL 模型等。预训练语言模型是大语言模型的基座模型，所以第 6 章主要介绍了预训练语言模型特点、结构与分类、自回归语言模型、自编码语言模型、预训练语言模型的训练等。第 7 章主要介绍了大语言模型结构、结构设计与优化策略、词向量，以及大语言模型训练等。第 8 章～第 10 章主要介绍了大语言模型设计与训练的常用机器学习算法，这些学习算法助大语言模型 推了对大语言模型的理解、构建和训练。第 11 章～第 14 章主要介绍了有代表意义的大语言模型，虽然它们的构思、结构和功能都不同，但都是基于 Transformer 模型建立的。第 15 章主要介绍了提示工程，这部分内容对于如何使用大语言模型有启发意义和实用价值。 
由于编著者水平有限，书中不足之处在所难免，敬请读者批评指正。

本书配套资源下载

对不起，暂无音视频资源！