第7章 Hive-【千锋教育】Hadoop大数据开发实战（慕课版）

第7章 Hive 数据仓库简介 认识Hive Hive安装 Hive数据类型 Hive数据库操作 Hive表 Hive表的查询 Hive函数 Hive性能优化 Hive 案例分析 数据仓库简介 认识Hive Hive安装 Hive数据类型 Hive数据库操作 Hive表 Hive表的查询 Hive函数 Hive性能优化 Hive 案例分析 目 录 CATALOUGUE 01 02 04 05 03 06 07 08 09 初心至善 匠心育人 熟悉Hive的安装 熟悉Hive函数的使用和Hive的性能调优 掌握Hive架构及其原理 掌握Hive的数据库和表的操作方法 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 7.1 数据仓库简介 7.1.1 数据仓库概述 7.1.2 数据仓库的使用 7.1.3 数据仓库的特点 7.1.4 主流的数据仓库 初心至善 匠心育人 7.1 数据仓库简介 数据仓库是一个面向主题的、集成的、随时间变化但信息本身相对稳定的数据集合，用于支持管理决策过程。总体来说，数据仓库可以整合多个数据源的历史数据，进行细粒度的、多维的分析，帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。 7.1.1 数据仓库概述 初心至善 匠心育人 7.1 数据仓库简介 一个公司的不同项目可能用到不同的数据源，有的项目数据存在MySQL里面，有的项目数据存在MongoDB里面，甚至还有些要做第三方数据。 如果想把这些数据整合起来，进行数据分析，数据仓库(Data Warehouse，DW)就派上用场了。它可以对多种业务数据进行筛选和整合，用于数据分析、数据挖掘、数据报表，如图所示。 7.1.2 数据仓库的使用 初心至善 匠心育人 7.1 数据仓库简介 （1）主题性。数据仓库针对某个主题来进行组织，比如“滴滴出行”司机行为分析就是一个主题，所以它可以对多种不同的数据源进行整合；而传统的数据库主要针对某个项目，数据相对分散和孤立。 （2）集成性。数据仓库需要将多个数据源的数据存到一起，但是这些数据以前的存储方式不同，所以要经过抽取、清洗、转换的过程 （3）稳定性。数据仓库保存的数据是一系列历史快照，不允许修改，只能分析。 （4）时变性。数据仓库会定期接收到新的数据，反应最新的数据变化。 7.1.3 数据仓库的特点 初心至善 匠心育人 7.1 数据仓库简介 国内最常用的是一款基于Hadoop的开源数据仓库，名为Hive，它可以对存储在HDFS的文件数据进行查询、分析。 Hive对外可以提供HQL（Hive Query Language，Hive查询语言），这是类似于SQL的一种查询语言。在查询HQL语句可转换为MapReduce任务，在Hadoop层执行。 Hive的最大优势在于免费，其他知名的商业数据仓库还有Oracle、DB2，以及业界领先的Teradata Teradata支持大规模并行处理平台(MPP)，可以高速处理海量，性能远远高于Hive。使用Teradata的企业只需要专注于业务，能够节省管理方面的精力，实现投资回报率最大化。 7.1.4 主流的数据仓库 初心至善 匠心育人 7.2 认识Hive 7.2.1 Hive简介 7.2.2 Hive架构 7.2.3 Hive和关系型数据库比较 初心至善 匠心育人 7.2 认识Hive 1. Hive诞生的背景 开发人员在使用MapReduce过程中面临以下两个问题。 （1）Hadoop的MapReduce专业性较强，学习成本相对较高。 （2）通过MapReduce实现复杂查询等操作时，开发难度相对较大。 为解决以上问题，使用类SQL语法的Hive应运而生。Hive诞生于Facebook，大量懂得SQL的开发人员快速学会通过Hive操作Hadoop集群处理海量数据，满足了Facebook管理海量社交数据和进行机器学习的需求。Hive是学习Hadoop相关技术的一个突破口。 7.2.1 Hive简介 初心至善 匠心育人 7.2 认识Hive 2.Hive的概念 Hive是基于Hadoop的数据仓库工具。Hive 提供了操作简单的类SQL查询语言HQL，HQL语句可以转换为MapReduce任务来运行，方便用户查询、分析数据；Hive提供了命令行工具和JDBC（Java DataBase Connectivity，Java数据库连接）驱动程序以便用户连接到Hive。 数据仓库是为企业做出科学的决策报告而创建的，可以对多样的业务数据进行筛选与整合的大型数据存储集合。用户一般会利用数据仓库技术执行大量的查询操作，执行修改和删除操作较少，因此数据仓库通常只需要定期加载和刷新。 7.2.1 Hive简介 初心至善 匠心育人 7.2 认识Hive 3.H