电子工业出版社-网上书店

本书聚焦于自然语言处理模型在分布外数据上泛化能力的提升这一关键挑战。全书从理论基础、技术方法和现实应用三个维度系统地展开论述。理论层面，清晰阐释了分布外泛化的核心概念及其机器学习原理；技术层面，详细剖析了包括数据增强、对抗训练、因果推断等在内的分布外泛化增强方法，并深入分析了大语言模型特有的分布外泛化问题及其伴随的社会公平性挑战；应用层面，针对自然语言处理中的时序迁移、任务迁移和语言迁移三大应用场景，探讨了模型面临的泛化瓶颈，并提出了切实可行的优化方案。本书旨在为相关领域的研究者与从业者提供兼具学术前沿洞见与工程实践指导的系统性参考，助力应对人工智能模型分布外泛化的核心挑战。

第1章  绪论	1
1.1  分布外泛化的研究背景与意义	1
1.1.1  研究背景	1
1.1.2  研究意义	3
1.2  国内外研究进展及现状	4
1.2.1  分布外泛化	4
1.2.2  领域迁移	6
1.2.3  算法公平性	13
1.2.4  研究现状小结	14
1.3  全书主要内容及组织结构	15
本章参考文献	17
第2章  机器学习的基础理论	30
2.1  机器学习的分类	30
2.1.1  有监督学习	30
2.1.2  无监督学习	33
2.1.3  半监督学习	33
2.1.4  强化学习	35
2.2  神经网络模型	37
2.2.1  全连接神经网络	37
2.2.2  卷积神经网络	48
2.2.3  循环神经网络	50
2.2.4  自注意力神经网络	55
2.3  本章小结	58
本章参考文献	58
第3章  自然语言处理的基础	63
3.1  文本表示与语言模型	63
3.1.1  独热表示	63
3.1.2  分布式词向量表示	64
3.1.3  神经网络语言模型	64
3.1.4  Word2Vec模型	66
3.1.5  基于上下文语义的表示	68
3.1.6  句向量模型	69
3.2  预训练语言模型	71
3.2.1  GPT系列	71
3.2.2  BERT系列	74
3.2.3  ELECTRA系列	77
3.2.4  LLaMA系列	78
3.2.5  Claude系列	78
3.2.6  Gemini系列	79
3.2.7  通义千问系列	80
3.2.8  ChatGLM系列	81
3.2.9  Baichuan系列	82
3.2.10  DeepSeek系列	82
3.3  自然语言处理常见任务	84
3.3.1  工具性自然语言处理任务	84
3.3.2  应用性自然语言处理任务	86
3.4  本章小结	91
本章参考文献	91
第4章  分布外泛化的相关理论	99
4.1  分布外泛化相关概念	99
4.1.1  泛化	100
4.1.2  分布外泛化	102
4.1.3  数据集偏移	104
4.1.4  深度学习中的捷径学习	105
4.2  多领域学习	107
4.2.1  多任务学习	107
4.2.2  迁移学习	108
4.2.3  元学习	110
4.3  领域自适应与领域泛化	114
4.3.1  领域自适应	114
4.3.2  领域泛化	115
4.4  分布外泛化的相关总结	116
4.4.1  不同学习类型比较	116
4.4.2  相近概念辨析	117
4.4.3  分布外泛化问题产生的原因	118
4.4.4  本书的研究限定与前提	119
4.5  本章小结	119
本章参考文献	119
第5章  常见分布外泛化增强方法	123
5.1  基于样本权重的增强方法	123
5.2  基于数据增强的方法	124
5.2.1  单词级数据增强方法	124
5.2.2  句子级数据增强方法	125
5.2.3  基于混合的数据增强方法	126
5.2.4  远程监督学习方法	127
5.3  基于先预训练后微调的增强方法	127
5.3.1  常见预训练任务模型	128
5.3.2  常见微调方法	130
5.3.3  迁移的正则化设计	132
5.4  基于知识蒸馏的增强方法	133
5.5  基于不变性预测的增强方法	134
5.6  基于特征对齐的增强方法	136
5.6.1  子空间对齐方法	136
5.6.2  协方差对齐方法	137
5.6.3  基于最大均值差异的方法	138
5.6.4  基于领域分离网络的方法	141
5.7  基于生成对抗网络的增强方法	142
5.7.1  基于领域对抗神经网络方法	144
5.7.2  基于动态对抗自适应网络方法	146
5.8  基于分布鲁棒性优化的增强方法	147
5.8.1  沃瑟斯坦鲁棒性	147
5.8.2  KL-散度鲁棒性	148
5.8.3  分布鲁棒性优化的优缺点	149
5.9  基于因果推断的增强方法	149
5.10  本章小结	151
本章参考文献	152
第6章  大语言模型的分布外泛化	157
6.1  大语言模型语境学习与分布外泛化	157
6.1.1  零样本学习	158
6.1.2  少样本提示学习	159
6.1.3  思维链提示学习	161
6.1.4  大海捞针测试	162
6.1.5  基于增强检索生成的方法	163
6.1.6  基于自我反思的方法	165
6.2  大语言模型微调与分布外泛化	166
6.2.1  适配器微调	166
6.2.2  低秩自适应	168
6.2.3  前缀微调	168
6.3  大语言模型的对齐	169
6.3.1  人类反馈强化学习	170
6.3.2  近端策略优化算法	172
6.4  大语言模型的智能体建模与具身智能	172
6.4.1  大语言模型智能体建模	172
6.4.2  大语言模型驱动的具身智能	177
6.5  大语言模型泛化性能分析	179
6.6  本章小结	181
本章参考文献	182
第7章  算法公平性问题	185
7.1  公平性的定义及类别	185
7.2  自然语言处理任务的公平性问题	187
7.3  大语言模型的公平性问题	189
7.4  算法公平性问题产生的原因	190
7.5  案例分析：预训练语言模型的社会语言学分析	191
7.5.1  社会语言学偏差探究任务	192
7.5.2  探究评估任务实验设置	192
7.5.3  分析一：人类社会语言学差异分析	196
7.5.4  分析二：预训练语言模型社会语言学公平性分析	197
7.5.5  分析三：预训练语言模型与人类间的社会语言学差异分析	198
7.5.6  分析小结	200
7.6  提升算法公平性的典型方法	201
7.6.1  数据增强法	201
7.6.2  组别权重法	201
7.6.3  正则化约束	202
7.6.4  对抗学习	203
7.6.5  对比学习	203
7.6.6  强化学习	204
7.7  本章小结	204
本章参考文献	204
第8章  时序迁移下的模型分布外泛化增强方法	210
8.1  在线系统中的时序迁移	210
8.2  时序迁移的形式化定义	211
8.3  基于动态知识蒸馏的跨时段自动问答方法	212
8.3.1  自动问答与大模型泛化相关的工作	212
8.3.2  基于知识蒸馏的模型分布外泛化增强架构	215
8.3.3  学生模型：基于多尺度注意力交互网络的在线中文医疗问答	216
8.3.4  教师模型：基于自注意力机制的大语言模型	223
8.3.5  蒸馏衰减系数与优化目标	223
8.3.6  动态采样蒸馏方法	225
8.3.7  多学生模型集成学习	225
8.3.8  实验	226
8.3.9  分析讨论	232
8.4  本章小结	235
本章参考文献	236
第9章  任务迁移下的模型分布外泛化增强方法	241
9.1  多任务学习中的任务迁移	241
9.2  任务迁移的形式化定义	243
9.3  多任务学习的损失函数及采样策略	243
9.3.1  多任务学习的损失函数	244
9.3.2  多任务学习的采样策略	245
9.4  基于最坏情况感知的多任务自动课程学习方法	248
9.4.1  基于最坏情况感知的自动课程学习架构	249
9.4.2  最坏情况感知的最小化算法	249
9.4.3  多任务学习模型	252
9.4.4  多任务模型的迁移学习	255
9.4.5  实验	255
9.5  本章小结	264
本章参考文献	264
第10章  语言迁移下的模型分布外泛化增强方法	267
10.1  自然语言处理中的语言迁移	267
10.2  语言迁移的形式化定义	268
10.3  面向有限标记样本的跨语言文章重新排序方法	269
10.3.1  跨语言文章重新排序任务定义	270
10.3.2  基于扩展预训练的跨语言文章重新排序模型	271
10.3.3  基于数据增强的跨语言文章重新排序模型	275
10.3.4  实验与案例分析	277
10.4  基于知识蒸馏和对抗学习的跨语言文章重新排序方法	284
10.4.1  理论分析	285
10.4.2  基于知识蒸馏和对抗学习的跨语言文章重新排序模型	287
10.4.3  实验结果与分析	290
10.4.4  小结	295
10.5  基于最差组别感知的跨语言情感分类方法	296
10.5.1  语言迁移的形式化定义	297
10.5.2  基于自动课程学习的模型架构	298
10.5.3  最差组别感知的最小化算法	298
10.5.4  情感分类模型	301
10.5.5  跨语言迁移学习	302
10.5.6  实验设置	302
10.5.7  实验结果	304
10.5.8  分析	305
10.6  本章小结	312
本章参考文献	312
第11章  总结与展望	318
11.1  全书总结	318
11.2  研究展望	320
11.2.1  分布外泛化与模型可解释性	320
11.2.2  分布外泛化与模型安全性	321
11.2.3  分布外泛化测评基准的构建	322
11.2.4  分布外泛化在管理科学与工程领域的潜在应用前景	323
本章参考文献	324

序
近十年来，以预训练?微调范式为代表的大规模神经网络在自然语言处理任务上屡破纪录，似乎迎来了“通用智能”的曙光。然而，真实世界的语言现象具有开放、动态、非稳态的本质：社交媒体的新词爆发、法律条文的修订、医学指南的更新，乃至跨语言、跨文化的迁移需求，均可能使“训练?测试分布一致”这一经典假设顷刻瓦解。模型一旦脱离熟悉的分布，性能便断崖式下跌，推理、伦理遵循等高阶能力会最先失灵。分布外泛化由此成为制约自然语言处理从“实验室标杆”迈向“社会基础设施”的最后一道闸门。
本书聚焦于分布外泛化这一核心议题，深入探讨了如何提升自然语言处理模型在面对未见数据时的泛化能力。本书具有以下显著价值与特色。
体系完备，脉络清晰：本书首次系统性地构建了自然语言处理分布外泛化的知识框架，从理论基础、技术方法到现实应用三个维度层层递进，为读者构建了有关分布外泛化的完整知识脉络。这种结构设计既有助于初学者建立全局观，也能为研究者提供深入探索的路径。
紧扣前沿，洞察深刻：本书不仅全面梳理了提升模型分布外泛化性能的经典方法，更敏锐地捕捉到了大语言模型时代下分布外泛化的新挑战与新机遇。特别值得说明的是，书中深入探讨了大语言模型在分布外泛化场景下可能引发的社会公平性问题，并提出了相应的缓解策略，体现了作者团队对技术伦理与社会责任的深刻思考。
理论实践并重，指导性强：本书不仅在原理层面介绍了技术方法，更着重分析了各技术方法的适用场景、优劣势及实践考量。本书针对时序迁移、任务迁移和语言迁移三大应用场景进行了瓶颈分析与优化方案探讨，紧密结合了实际需求，为从业者应对现实挑战提供了宝贵的、可直接参考的思路和方法论。
站在学科发展的历史视角，分布外泛化问题的凸显，标志着自然语言处理正在经历从“算法驱动”到“问题驱动”、从“性能至上”到“可信优先”的范式转移。本书的出版，既是对这一转移的真实记录，也是对未来研究的战略导航。希望本书能够激发更多学者投身于这一富有挑战性和前景的研究方向。

国防科技大学教授  肖卫东
2026年1月

前    言
自然语言处理技术已经成为连接机器和人类社会的重要桥梁。从日常使用的引擎搜索、机器人问答、社交媒体分析、帖文关联推荐、情感计算等具体任务，到医疗、法律、金融等领域咨询，解决自然语言处理相关任务的智能化模型越来越多地出现在人们的生活当中。随着大规模数据和深度神经网络的普及，特别是以ChatGPT、DeepSeek为代表的大规模预训练语言模型的出现，自然语言处理系统达到了令人瞩目的性能和效果。然而在理论研究和实际应用之间，一直存在着一个亟待探讨的关键问题，即模型的分布外泛化问题。
分布外泛化是指模型在面对与训练数据分布不同的“未见”数据时的表现，是将神经网络模型应用于现实场景时必须考虑的问题。许多自然语言处理模型虽然在标准测试数据集上表现出色，但在实际应用中往往不尽如人意。产生这种现象的外在原因是应用环境变化导致数据分布发生了偏移，内在原因则是模型没有真正学习到任务本质，只是依赖训练数据中的虚假线索进行了推断。因此，提升模型的分布外泛化能力已成为模型设计和训练过程中必须解决的关键课题。
尽管分布外泛化研究具有重要意义，但目前市面上系统探讨这一主题的专著较为匮乏，相关领域如迁移学习、多任务学习等的书籍也相对有限。因此，本书致力于系统梳理这一领域的核心问题与前沿进展，旨在帮助读者深入了解自然语言处理中的分布外泛化问题。本书全面梳理了目前分布外泛化的研究进展与增强方法，为研究者和从业者提供应对分布外泛化挑战的理论指导和实践参考。
本书从自然语言处理与分布外泛化的理论基础、技术方法和现实应用三个层面展开。理论基础层面，从机器学习和自然语言处理的基础理论出发，系统阐述了分布外泛化的基本概念和相关理论；技术方法层面，详细介绍了数据增强、特征对齐、对抗学习、分布鲁棒性优化、因果推断等常见的模型分布外泛化增强方法，分析了大语言模型的分布外泛化问题，并探讨了由此引发的社会公平性问题及提升公平性的相关方法；现实应用层面，针对时序迁移、任务迁移和语言迁移三大应用场景，分析了模型的分布外泛化问题，并提出了相应的提升模型分布外泛化性能的方法。通过系统化的结构设计，本书旨在帮助读者建立从理论认知到实践应用的完整知识体系，全面了解自然语言处理中分布外泛化的相关知识，并为相关研究提供展望和启示。
本书的目标读者包括自然语言处理、机器学习、深度学习等领域的研究人员、工程师、学生和从业者，以及对这些领域感兴趣的读者。
本书在撰写和整理过程中参考了大量相关的学术论文、开源社区、网页博客等资料，这些资料丰富了我们的写作思路和内容，对此表示衷心的感谢。感谢陈冬梅为本书的撰写提供了大量材料。同时，本书在撰写和校对过程中得到了许多专家和同仁的指导帮助，他们是樊静、李济廷、曹得琪、左浩、李青霖、臧越超、周锐、李凯、付一彬、秦健博、陈维嘉、王志铎、吴亮、杨光、王琛、柳鑫政、刘哲、赵江伟等，在此对他们表示感谢。感谢电子工业出版社李树林编辑，在本书出版过程中对书稿的编辑和校对提出了大量细致且有建设性的意见。
由于笔者的能力水平有限，如有不当之处，敬请读者批评指正！

张胜     
2026年1月于长沙

本书配套资源下载

对不起，暂无音视频资源！