第8章 HBase分布式存储系统-【千锋教育】Hadoop大数据开发实战（慕课版）

第8章 HBase分布式存储系统 认识HBase HBase表设计 HBase安装 HBase Shell常用操作 HBase编程 HBase过滤器和比较器 HBase和Hive 结合 HBase性能优化 认识HBase HBase表设计 HBase安装 HBase Shell常用操作 HBase编程 HBase过滤器和比较器 HBase与Hive结合 HBase性能优化 01 02 04 05 03 06 07 08 目 录 CATALOUGUE 初心至善 匠心育人 掌握HBase架构及其原理 理解HBase与Hive之间的关系 掌握HBase的存储流程 熟悉HBase的安装和使用 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 8.1 认识HBase 8.1.1 HBase简介 8.1.2 HBase的数据模型 8.1.3 HBase架构 8.1.4 HBase文件存储格式 8.1.5 HBase存储流程 8.1.6 HBase和HDFS 初心至善 匠心育人 8.1 认识HBase 8.1.1 HBase简介 HBase是一个基于Hadoop的分布式、面向列的开源数据库，对大数据实现了随机定位和实时读写。 HBase是基于Google的Bigtable技术实现的。Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop的HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop的MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby进行协同服务，HBase利用Zookeeper进行协同服务。 初心至善 匠心育人 8.1 认识HBase 8.1.1 HBase简介 HBase具有以下特点。 （1）读取数据实时性强：可以实现对大数据的随机访问和实时读写。 （2）存储空间大：可以存储十亿行、百万列、上千个版本的数据。 （3）具有可伸缩性：可以通过增删节点实现数据的伸缩性存储。 （4）可靠性强：HBase的RegionServer之间可以实现自动故障转移。 （5）面向列：面向列（族）的存储和权限控制，列（族）独立检索。 （6）数据类型单一：HBase中的数据都是字符串，没有其他类型。 初心至善 匠心育人 8.1 认识HBase 8.1.2 HBase的数据模型 HBase是一个面向列的数据库，数据模型主要有命名空间（Namespace）、表（Table）、行键（Rowkey）、列族（Column Family）、列（Column）、时间戳（Timestamp）、单元格（Cell）。 1．命名空间 命名空间可以对表进行逻辑分组，类似于关系数据库系统中的数据库。 2．表 表由行键和列族组成，按行键的字典顺序进行排序。 初心至善 匠心育人 8.1 认识HBase 8.1.2 HBase的数据模型 3．行键 行键是每一行数据的唯一标识，可以使用任意字符串表示。行键的最大长度为64KB，实际应用中一般为10~1000 Byte。在HBase 内部，行键保存为字节数组。 4．列族 列族是列的集合，在创建表时必须要声明列族。一个列族的所有列使用相同的前缀（列族名称）。HBase所谓的列式存储就是指数据按列族进行存储，这种设计便于进行数据分析。 初心至善 匠心育人 8.1 认识HBase 8.1.2 HBase的数据模型 5．列 列以键值对的形式进行存储。列的值是字节数组，没有类型和长度限定。列的格式通常为column family:qualifier。例如，name:tom列和name:jack列都是列族name的成员，:后的内容通常称为限定符（Qualifier），限定符可以是任意的字节数组，相同列族中的限定符是唯一的，列的数量可以达到百万级别。 6．单元格 单元格是由行键、列族、版本唯一确定的单元。单元格中的数据全部以字节码形式存储。 初心至善 匠心育人 8.1 认识HBase 8.1.2 HBase的数据模型 7．时间戳和版本 每个单元格通常保存着同一份数据的多个版本（Version），它们用时间戳来区分。时间戳是64位的整型数据。 时间戳可以被自动赋值和显式赋值。自动赋值是指在数据写入时，HBase可以自动对时间戳进行赋值，该值是精确到毫秒的当前系统时间。显式赋值是指时间戳可以由客户显式指定。 为了方便地进行数据的版本管理，HBase提供了两种数据版本回收方式。 （1）保存数据的最后n个版本。 （2）保存最近一段时间内的版本（例如，最近7天的版本）。 初心至善 匠心育人 8.1 认识HBase 8.1.2 HBase的数据模型 用户可以针对列族进行自定义设置。