第2章 搭建Hadoop集群-【千锋教育】Hadoop大数据开发实战（慕课版）

第2章 搭建Hadoop集群 安装准备 Linux基本命令 Hadoop集群搭建 Hadoop集群测试 使用Hadoop集群 安装准备 Linux基本命令 Hadoop 集群搭建 Hadoop 集群测试 使用Hadoop 集群 01 02 04 05 03 目 录 CATALOUGUE 初心至善 匠心育人 了解虚拟机的安装和克隆 掌握Hadoop集群的搭建和配置方法 掌握Linux基本命令的用法 熟悉Linux系统网络配置和Hadoop集群案例操作 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 2.1 安装准备 2.1.1 虚拟机安装 2.1.2 虚拟机克隆 2.1.3 Linux 系统网络配置 2.1.4 SSH 服务配置 初心至善 匠心育人 2.1 安装准备 Hadoop可以安装在Linux系统和Windows系统上使用。由于Linux系统具备便捷性和稳定性，所以在实际开发过程中，更多的Hadoop集群是在Linux系统上运行的，本书对Linux系统上的Hadoop集群搭建以及使用进行讲解。 初心至善 匠心育人 2.1 安装准备 搭建Hadoop集群需要很多台机器，这在个人开发测试和学习时肯定是不切实际的。我们可以使用虚拟机软件在一台计算机中搭建出多个Linux虚拟机环境，来进行个人开发测试和学习。下面分步演示使用VMware Workstation虚拟软件工具进行Linux系统虚拟机安装配置的过程。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 1．创建虚拟机 （1）根据说明下载并安装好VMware Workstation虚拟软件工具（此次演示使用VMware Workstation14 Pro版本，具体安装步骤见附录），安装成功后打开VMware Workstation，效果如图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 （2）单击“创建新的虚拟机”选项，根据提示可以使用默认安装方式连续单击“下一步(N)”按钮。在进入到“选择客户机操作系统”界面时，选择此次要安装的客户机操作系统Linux，以及版本CentOS 64位，如图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 （3）选择好客户机操作系统后，单击“下一步(N)”按钮，进入到“命名虚拟机”界面，自定义设置虚拟机名称（演示中设置虚拟机名称为qf01）和安装位置，如图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 （4）完成虚拟机命名后，单击“下一步(N)”按钮，进入到“处理器配置”界面，根据个人计算机的硬件情况和使用需求，自定义配置处理器数量和每个处理器的内核数量，如图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 （5）完成处理器配置后，单击“下一步(N)”按钮，进入到“此虚拟机的内存”设置界面，再次根据个人电脑的物理内存进行合理分配，这里搭建的qf01虚拟机将作为Hadoop集群主节点，所以应分配较大内存，如图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 （6）完成内存设置后，可以根据提示使用默认安装方式连续单击“下一步 (N)”按钮。进入到“指定磁盘容量”界面后，根据实际需要并结合计算机硬件情况合理选择最大磁盘大小（演示中使用默认值20GB），如图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 （7）完成磁盘容量设置后，根据提示使用默认安装方式连续单击 “下一步(N)”按钮。在进入到“已准备好创建虚拟机”界面时，可查看当前设置的要创建的虚拟机参数，确认无误后单击“完成”选项，即可完成新建虚拟机的设置，如图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 根据上述步骤和说明进行操作，便可以完成新建虚拟机的设置，接下来，对该虚拟机进行启动和初始化。 2．虚拟机启动初始化 （1）在创建成功的qf01虚拟机上单击鼠标右键，选择“设置”，然后选中设备中的“CD/DVD(IDE)”，勾选“使用ISO镜像文件”选项，单击“浏览（B）”按钮来指定ISO镜像文件的具体地址（此处根据前面操作系统的设置使用CentOS镜像文件初始化Linux系统），如下图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 （2）设置完ISO镜像文件后，单击“确定”按钮，选择当前 qf01主界面的“开启此虚拟机”选项，来启动qf01虚拟机，启动效果如图所示。 2.1.1 虚拟机安装 初心至善 匠心育人 2.1 安装准备 （3）选择第一