第9章 Flume-【千锋教育】Hadoop大数据开发实战（慕课版）

第9章 Flume 认识Flume Flume基本组件 Flume安装 Flume数据流模型 Flume的可靠性保证 Flume拦截器 采集案例 1 认识Flume Flume基本组件 Flume安装 Flume数据流模型 Flume的可靠性保证 Flume拦截器 Flume拦截器 01 02 04 05 03 06 07 目 录 CATALOUGUE 初心至善 匠心育人 掌握Flume架构及其原理 掌握拦截器的用法 熟悉Flume的安装和使用 掌握Source、Sink、Channel的使用方法 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 9.1 认识Flume 9.1.1 Flume简介 9.1.2 Flume的特点 初心至善 匠心育人 9.1 认识Flume 9.1.1 Flume简介 Flume最初是Cloudera公司推出的日志采集系统，于2009年被捐赠给了Apache软件基金会，成为Hadoop相关组件之一。近几年随着Flume的不断被完善、升级版本的推出，以及Flume内部各种组件的增加，用户在开发的过程中使用Flume的便利性得到了很大的改善。 Flume是一种可配置、高可用的数据采集工具。主要用于采集来自各种流媒体的数据（Web服务器的日志数据等）并传输到集中式数据存储区域。Flume支持在日志系统中定制各种数据发送方，用于收集数据；并且可以对数据进行简单处理，将其写到可定制的各种数据接受方（如文本、HDFS、HBase等）。 初心至善 匠心育人 9.1 认识Flume 9.1.1 Flume简介 Flume两个系列：Flume OG和Flume NG。Flume OG是指Flume 0.9.x版本系列，Flume NG 是指Flume 1.x版本系列。目前使用Flume NG的企业较多，因此本书主要讲解Flume NG。 初心至善 匠心育人 9.1 认识Flume 9.1.2 Flume的特点 Flume的特点主要体现在以下几个方面。 （1）具有复杂的流动性。Flume允许用户构建多跳流，允许使用扇入流和扇出流、上下文路由和故障跳转的备份路由（故障转移）。 ① 多跳流。Flume中可以有多个代理（Agent）。事件（Event）需要通过多个代理才能到达最终目的地，这样的数据流被称为多跳流。Flume的数据流由事件贯穿始终。 ② 扇出流（一对多形式）。从一个源（Source）到多个通道（Channel）的数据流被称为扇出流。 ③ 扇入流（多对一形式）。从多个源到一个通道的数据流被称为扇入流。 初心至善 匠心育人 9.1 认识Flume 9.1.2 Flume的特点 （2）具有可靠性。Flume的源和接收器（Sink）分别封装在事务中，可以确保事件集在数据流中从一个点到另一个点进行可靠地传递。 （3）具有可恢复性。事件存储在通道中，当Flume出现故障时，通道负责恢复数据。 初心至善 匠心育人 9.2 Flume基本组件 9.2.1 Event 9.2.2 Agent 初心至善 匠心育人 9 9.2 Flume基本组件 9.2.1 Event Event是Flume中具有有效负载的字节数据流和可选的字符串属性集，是Flume传送数据的基本单位。Event由Header和Body组成。Header是一个Map<String，String>，存储字符串属性集；Body是一个字节数组，存储字节数据。 初心至善 匠心育人 9.2 Flume基本组件 9.2.2 Agent Agent是一个虚拟机进程，负责将外部来源产生的消息转发到外部的目的地。Agent由Source、Channel和 Sink构成。 1. Source Source从外部来源读入Event，并写入Channel。每个Source可以发送Event到多个Channel 中。Source的常见类型如表所示。 初心至善 匠心育人 9.2 Flume基本组件 9.2.2 Agent 接上一页。 初心至善 匠心育人 9.2 Flume基本组件 9.2.2 Agent 2. Sink Sink从Channel中读取Event后写入目的地。每个Sink只能从一个Channel中获取数据。Sink的常见类型如表所示。 初心至善 匠心育人 9.2 Flume基本组件 9.2.2 Agent 3. Channel Channel相当于数据缓冲区，接收Source传入的事件后发送给Sink。Channel的常见类型如表所示。 初心至善 匠心育人 9.3 Flume安装 本书使用的是1.8.0版本的Flume，安装包见附录。Flume的安装步骤如下。 （1）将Flume安装包apache-flume-1.8.0-bin.ta