第3章 HDFS分布式文件系统-【千锋教育】Hadoop大数据开发实战（慕课版）

第3章 HDFS分布式文件系统 HDFS的简介 HDFS存储架构和数据读写流程 HDFS的Shell命令 Java 程序操作HDFS Hadoop序列化 Hadoop小文件处理 通信机制RPC HDFS的简介 HDFS存储架构和数据读写流程 HDFS的Shell命令 Java 程序操作HDFS Hadoop序列化 Hadoop小文件处理 通信机制RPC 01 02 04 05 03 06 07 目 录 CATALOUGUE 初心至善 匠心育人 掌握HDFS的架构和原理 了解Hadoop小文件处理方式 掌握HDFS的Shell和JavaApi操作 了解Hadoop序列化 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 3.1 HDFS的简介 3.1.1 HDFS的概念 3.1.2 HDFS数据的存储和读取方式 3.1.3 HDFS的特点 初心至善 匠心育人 3.1 HDFS的简介 HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。分布式存储比普通存储方式节省时间。 例如，现有10台计算机，每台计算机上有1TB的硬盘。如果将Hadoop安装在这10台计算机上，就可以使用HDFS进行分布式的文件存储。相当于登录到一台具有10TB存储容量的大型机器，而用HDFS分布式文件存储方式在10台计算机上存储，显然比用普通方式在1台计算机上存储更节省时间，这就如同3个人吃3个苹果比1个人吃3个苹果要快。 3.1.1 HDFS的概念 初心至善 匠心育人 3.1 HDFS的简介 3.1.1 HDFS的概念 1．NameNode NameNode（名称节点）管理文件系统的命名空间。它负责维护文件系统树及树内所有的文件和目录。这些信息以两个文件（命名空间镜像文件和编辑日志文件）的形式永久保存在本地磁盘上。同时NameNode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，因为这些信息在系统启动时由数据节点重建。 2．DataNode DataNode（数据节点）是HDFS实例中在单独机器上运行的一个软件，Hadoop集群中包含了一个NameNode和大量的DataNode。一般情况下DataNode以机架的形式组织，机架通过一个交换机把所有的系统连接起来。 初心至善 匠心育人 3.1 HDFS的简介 3.1.1 HDFS的概念 Hadoop的一个假设是：机架内部节点之间的传输速度要快于机架间的传输速度。 DataNode响应来自HDFS 客户机的读写请求。它们还响应来自NameNode的创建、删除和复制块的命令。NameNode依赖来自每个DataNode的定期心跳(Heartbeat)消息。每条消息都包含一个块报告，NameNode 可以根据这个报告验证块映射和其他文件系统元数据。如果 DataNode 不发送心跳消息，NameNode 将采取修复措施，重新复制该节点上丢失的块。 初心至善 匠心育人 3.1 HDFS的简介 （1）对大文件的存储，HDFS采用分割的方式解决。HDFS将大文件分割到既定的存储块（Block）中进行存储，并通过本地设定的任务节点进行预处理。 （2）对于大量小文件的存储，HDFS通过普通的编程与压缩方式。在实际工作中，更多时候需要存储大量的小文件。 （3）对于普通文件的读取操作，HDFS通常采用分批次的方式。 （4）对于大量数据的读取，HDFS采用集中式。存储时的优化使得读取能够在一个连续的区域内进行，节省读取数据的时间。 （5）对于少量数据的随机读取，HDFS一般采用按序读取的方式，即先把少量的随机读取操作合并，然后按顺序读取数据。 3.1.2 HDFS数据的存储和读取方式 初心至善 匠心育人 3.1 HDFS的简介 1.HDFS的优点 （1）成本低。HDFS可以部署在价格低廉的硬件上，成本较低。例如，只要有台式机或笔记本电脑，就可以部署HDFS。 （2）高容错。HDFS利用众多服务器实现分布式存储，每个数据文件都有2个冗余备份，也就是每个数据文件都将被存储3次。如果存储数据的某个服务器发生了故障，数据还有2个备份，因此，HDFS具有高容错的特性，允许服务器发生故障。 （3）高吞吐量。吞吐量是指单位时间内完成的工作量。HDFS实现了并行处理海量数据，大大缩短了处理时间，从而实现了高吞吐量。 （4）存储数据种类多。HDFS可以存储任何类型的数据，如结构化的数据、非结构化的数据、半结构化的数据。 3.1.3 HDFS的特点 初心至善 匠心育人 3.1 HDFS的简介 （5）可移植。HDFS可以实现不同平台之间的移植。 2. HDFS的缺点 （1）高延时。HD