电子工业出版社-网上书店

本书是校企合作的成果，以大数据平台运维岗位的实际工作为核心，采用任务驱动方式，全面介绍了 Hadoop 集群的安装、监控和优化等关键技能。内容涵盖了从集群搭建到节点维护、分布式文件存储操作、计算资源管理，再到集群调优和应用组件调优，以及应用组件的安装与检验等多个方面。本书遵循“实践为主、理论为辅、注重实用性”的教育理念，在实际操作中融入理论知识点，帮助读者更好地学习和掌握大数据分析与处理的关键技能。本书适合具备一定计算机基础的读者阅读，可作为中等职业学校、高职高专计算机相关专业的教学用书，也可作为大数据技术培训的实训教材，同时可供相关技术领域的技术人员参考使用。

第一单元　Hadoop 集群的搭建 ……………………………………………………………… 1
任务 1　认识 Hadoop …………………………………………………………………… 2
1. 知识准备 ………………………………………………………………………… 2
2. 课后实训 ………………………………………………………………………… 5
任务 2　大数据服务云体验 ……………………………………………………………… 8
1. 知识准备 ………………………………………………………………………… 8
2. 任务实操 …………………………………………………………………………12
3. 课后实训 …………………………………………………………………………15
任务 3　搭建 Hadoop 完全分布式集群 …………………………………………………17
1. 知识准备 …………………………………………………………………………17
2. 任务实操 …………………………………………………………………………19
3. 课后实训 …………………………………………………………………………36
第二单元? Hadoop 集群节点的运行维护 ………………………………………………… 41
任务 1 管理 Hadoop 集群节点运行 ……………………………………………………42
1. 知识准备 …………………………………………………………………………42
2. 任务实操 …………………………………………………………………………49
3. 课后实训 …………………………………………………………………………55
任务 2 解决集群运行中的 DataNode 故障 ……………………………………………58
1. 知识准备 …………………………………………………………………………58
2. 任务实操 …………………………………………………………………………61
3. 课后实训 …………………………………………………………………………62
任务 3 集群启动失败 ……………………………………………………………………66
1. 知识准备 …………………………………………………………………………66
2. 任务实操 …………………………………………………………………………69
Hadoop 大数据技术体系
3. 课后实训 …………………………………………………………………………77
第三单元? Hadoop 集群文件的存储管理 ………………………………………………… 86
任务 1 使用 Shell 命令操作 HDFS ……………………………………………………87
1. 知识准备 …………………………………………………………………………87
2. 任务实操 …………………………………………………………………………93
3. 课后实训 …………………………………………………………………………97
任务 2 合并 HDFS 小文件 …………………………………………………………… 101
1. 知识准备 ……………………………………………………………………… 101
2. 任务实操 ……………………………………………………………………… 103
3. 课后实训 ……………………………………………………………………… 106
任务 3 解决集群故障 ………………………………………………………………… 109
1. 知识准备 ……………………………………………………………………… 109
2. 任务实操 ……………………………………………………………………… 114
3. 课后实训 ……………………………………………………………………… 125
第四单元? Hadoop 集群计算资源的管理 ………………………………………………… 128
任务 1 使用 MapReduce 组件 ……………………………………………………… 129
1. 知识准备 ……………………………………………………………………… 129
2. 任务实操 ……………………………………………………………………… 133
3. 课后实训 ……………………………………………………………………… 138
任务 2 使用 Yarn 组件 ……………………………………………………………… 143
1. 知识准备 ……………………………………………………………………… 143
2. 任务实操 ……………………………………………………………………… 156
3. 课后实训 ……………………………………………………………………… 163
第五单元? 组件的安装与应用……………………………………………………………… 167
任务 1 安装与应用 Flume 组件 ……………………………………………………… 168
1. 知识准备 ……………………………………………………………………… 168
2. 任务实操 ……………………………………………………………………… 171
3. 课后实训 ……………………………………………………………………… 176
任务 2 安装与应用 Hive 组件 ……………………………………………………… 180
1. 知识准备 ……………………………………………………………………… 180
2. 任务实操 ……………………………………………………………………… 185
3. 课后实训 ……………………………………………………………………… 195
第六单元? 集群调优和应用组件调优……………………………………………………… 201
1. 知识准备 ……………………………………………………………………… 202
2. 课后实训 ……………………………………………………………………… 209

在数据驱动的时代背景下，大数据技术已经成为推动企业创新和科学研究的核心动力。Hadoop 技术作为大数据处理领域的事实标准，以其强大的数据处理能力被广泛应用于各行各业。鉴于此技术的重要性与普及性，我们通过校企合作，精心编撰了这本以实践为导向的教程，旨在为学生提供一条系统、深入地学习并运用 Hadoop 技术的路径。
本书的最大特色在于采用任务驱动方式，将复杂的理论知识转化为具体、可操作的任务。这种方式不仅增强了学生的实践操作能力，还使他们在学习过程中直观地体验到理论与实践的紧密结合，从而更有效地理解和掌握知识。
本书内容根据大数据平台运维岗位的实际需要设计，全面覆盖了 Hadoop 集群的安装、监控、优化、维护，以及应用组件的安装与检验等关键技能。通过这些实际任务的模拟与实施，学生将学会如何存储数据、管理计算资源、调优集群和应用组件，以及如何安装和检验应用组件等。
我们强调“实践为主、理论为辅、注重实用性”的教育理念，在每个任务的实施中融入了核心知识点与课程教学内容，确保学生能够通过实际操作来巩固和应用所学的理论知识，更深刻地理解 Hadoop 系统的运维工作。
本书内容
本书分为 6 个单元，具体如下。
第一单元 Hadoop 集群的搭建：包含认识 Hadoop、大数据服务云体验、搭建 Hadoop
完全分布式集群 3 个任务。
第二单元 Hadoop 集群节点的运行维护：包含管理 Hadoop 集群节点运行、解决集群
运行中的 DataNode 故障、集群启动失败 3 个任务。
第三单元 Hadoop 集群文件的存储管理：包含使用 Shell 命令操作 HDFS、合并 HDFS
小文件、解决集群故障 3 个任务。
第四单元 Hadoop 集群计算资源的管理：包含使用 MapReduce 组件、使用 Yarn 组件
两个任务。
第五单元组件的安装与应用：包含安装与应用 Flume 组件、安装与应用 Hive 组件两
个任务。
第六单元集群调优和应用组件调优。

本书配套资源下载

对不起，暂无音视频资源！

Hadoop大数据技术体系