第11章 综合项目—电商精准营销-【千锋教育】Hadoop大数据开发实战（慕课版）

第11章 综合项目—电商精准营销 项目概述 项目详细介绍 项目模块分析 数据采集 数据清洗 使用数据仓库进行数据分析 可视化 项目概述 项目详细介绍 项目模块分析 数据采集 数据清洗 使用数据仓库进行数据分析 可视化 01 02 04 05 03 06 07 目 录 CATALOUGUE 初心至善 匠心育人 了解项目背景及需求 掌握应用测试方法 了解项目中的架构设计和数据来源 掌握数据清洗流程和数据仓库操作流程 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 11.1 项目概述 11.1.1 项目背景介绍 11.1.2 项目架构设计 初心至善 匠心育人 11.1 项目概述 11.1.1 项目背景介绍 电商网站上线之后，利用大数据技术，收集用户的行为数据，进行多维度统计分析，掌握网站线上运营情况，将分析结果生成相应的数据报表，提供给运营部门进行业务分析。运营部门利用数据报表，可以制订出相应的网站优化方案，调整广告投入，组织举办更好的促销、精准营销等活动。 初心至善 匠心育人 11.1 项目概述 11.1.2 项目架构设计 项目架构：数据源（JS、SDK）—数据采集（Flume）—数据预处理（MapReduce）—数据仓库（Hive）—数据导出（Sqoop）—数据存储（MySQL）—数据可视化 数据分析平台架构如图所示 初心至善 匠心育人 11.1 项目概述 11.1.2 项目架构设计 （1）数据采集。每当用户通过PC端或者移动端访问商城网站时，网站前台后台程序均会产生日志信息，前台信息通过JS（JavaScript）收集到Nginx服务器中，后台信息通过SDK（Software Development Kit，软件开发工具包）收集到Nginx服务器中。然后在Nginx服务器中部署Flume Agent采集软件，实时监控目录，将产生的日志文件实时的采集到HDFS当中。 （2）数据预处理。将采集到的数据按照项目需求进行初步的清洗，得到项目中需要使用的字段数据。 （3）数据仓库。由于MapReduce操作数据编写流程过于复杂，这里采用Hive来对数据进行处理。将数据导入到Hive，按照项目的需求，写SQL语句来实现。 初心至善 匠心育人 11.1 项目概述 11.1.2 项目架构设计 （4）数据存储。处理之前的数据以及Hive的输出数据都存储在HDFS中，读取十分缓慢，很容易造成超时，这里采用Sqoop工具，将数据导入MySQL。 （5）数据可视化，为了更直观地展示数据结果，对得到的数据结果进行可视化操作。 初心至善 匠心育人 11.2 项目详细介绍 11.2.1 项目核心关注点 11.2.2 重要概念 11.2.3 维度 初心至善 匠心育人 11.2 项目详细介绍 本项目收集不同客户端的用户行为数据，通过MapReduce、Hive进行数据分析处理，将分析结果数据保存到关系型数据库中。在此过程中需要对几个核心的关注点进行详细分析。 （1）购买率：购买的人数/总人数，购买的人数/查看该商品的总人数。 （2）复购率：n次购买的人数 / n-1次购买的人数(n>=2)。 （3）订单数量，订单金额，订单的类型。 ① 成功订单数量，成功订单金额，成功订单的类型。 ② 退款订单数量，退款订单金额，退款订单的类型。 11.2.1 项目核心关注点 初心至善 匠心育人 11.2 项目详细介绍 （4）访客人数/会员人数。 （5）访客转会员的比例。 （6）广告推广效果。 （7）网站内容相关分析（网站的跳出率，页面的跳出率）。 11.2.1 项目核心关注点 初心至善 匠心育人 11.2 项目详细介绍 1. 访客 访问网站的用户，一般称为自然人，区分PC用户和手机用户。 PC用户以IP地址标识。由于NAT、代理等情况的存在，一个IP地址可能对应多个访客，但它实现简单，采用客户端种植Cookie的方式，当用户第一次访问系统时，在客户端的Cookie中保存一个唯一UUID（Universally Unique Identifier，通用唯一识别码），将过期时间设置为10年。 手机用户以设备的固定识别码标识，如IMEI（International Mobile Equipment Identify，国际移动设备识别码）、MEID（Mobile Equipment Identifier，移动设备识别码）等。个别情况下，这些识别码可能会出现误差，多个设备对应一个识别码，用户第一次访问系统的时候，磁盘中会写入标识符。 11.2.2 重要概念 初心至善 匠心育人 11.2 项目详细介绍 访客统计指标如下。 （1）新增访客：第一次访问系统的访客人数。 （2）活跃访客：给定时间段内访问过系统的访客人数(老访客+新