5.5 大数据分析（课件）-《信息技术（拓展模块）》同步教学（大连理工大学出版社）

大数据技术 5.1　大数据概述 5.2　大数据的时代背景、应用场景和发展趋势 5.3　大数据获取、存储、处理、管理和系统架构 5.4　大数据工具与传统数据库工具在应用场景上的区别 5.5　大数据分析 第五章 5.6　数据可视化工具 5.7　大数据安全防护 5.5 大数据分析 5.5.1　大数据分析概述 第五章　大数据技术 5.5 大数据分析 广义的数据分析包括狭义数据分析和数据挖掘。 狭义的数据分析是指根据分析目的,采用对比分析、分组分析、交叉分析和回归分析等分析方法,对收集来的数据进行处理与分析,提取有价值的信息,发挥数据的作用,得到一个特征统计量结果的过程。 数据挖掘则是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,通过应用聚类、分类、回归和关联规则等技术,挖掘潜在价值的过程。 数据分析的流程步骤如下: 5.5.1　大数据分析概述 第五章　大数据技术 5.5 大数据分析 需求分析 数据获取 数据预处理 分析与建模 模型评价 部署 5.5.2　大数据分析算法 第五章　大数据技术 5.5 大数据分析 大数据分析主要依靠机器学习和大规模计算。机器学习包括监督学习、无监督学习、强化学习等,而监督学习又包括分类学习、回归学习、排序学习、匹配学习等。分类是最常见的机器学习应用问题,比如垃圾邮件过滤、人脸检测、用户画像、文本情感分析、网页归类等,本质上都是分类问题。分类学习也是机器学习领域研究最彻底、使用最广泛的一个分支。大数据分析算法分类如图5-11所示。 1.监督学习(SupervisedLearning)(预测) 2.无监督学习(UnsupervisedLearning) 5.5.3　数据挖掘 第五章　大数据技术 5.5 大数据分析 从技术角度看,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、人们不知道的但又是潜在有用的信息和知识的过程。 从商业应用角度看,数据挖掘是一种崭新的商业信息处理技术。其主要特点是对商业数据库中大量业务数据进行抽取、转化、分析和模式化处理,从中提取辅助商业决策的关键知识,即从一个数据库中自动发现相关商业模式。 数据挖掘对象可以是存储的任何类型的信息,如关系数据库、数据仓库、事务数据库、万维网、面向对象数据库、对象关系数据库、时间序列数据库、空间数据库、文本数据库、多媒体数据库等。 常用的数据挖掘算法如图5-13所示。 5.5.3　数据挖掘 第五章　大数据技术 5.5 大数据分析 图5-13 常用的数据挖掘算法 5.6 数据可视化工具 5.6.1　什么是数据可视化 第五章　大数据技术 5.6 数据可视化工具 数据可视化是指将大型数据集中的数据以图形图像形式表示,并利用数据分析和开发工具发现其中未知信息的处理过程。 数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元素表示,大量的数据集构成数据图像,同时将数据的各个属性值以多维数据的形式表示,可以从不同的维度观察数据,从而对数据进行更深入的观察和分析 数据可视化过程包括数据预处理、绘制、显示和交互。 5.6.2　数据可视化的标准 第五章　大数据技术 5.6 数据可视化工具 可视化技术应用标准应该包含以下四个方面: (1)直观化:将数据直观、形象地呈现出来。 (2)关联化:突出地呈现出数据之间的关联性。 (3)艺术性:使数据的呈现更具有艺术性,更加符合审美规则。 (4)交互性:实现用户与数据的交互,方便用户控制数据。 5.6.3　数据可视化流程 第五章　大数据技术 5.6 数据可视化工具 数据获取:主动式是以明确的数据需求为目的,如卫星影像、测绘工程等;被动式是以数据平台为基础,由数据平台的活动者提供数据来源,如电子商务、网络论坛等。 数据处理:是指对原始的数据进行质量分析、预处理和计算等步骤。数据处理的目标是保证数据的准确性、可用性。 可视化模式:是数据的一种特殊展现形式,常见的可视化模式有标签云、序列分析、网络结构、电子地图等。可视化模式的选取决定了可视化方案的雏形。 可视化应用:主要根据用户的主观需求展开,最主要的应用方式是用来观察和展示,通过观察和人脑分析进行推理和认知,辅助人们发现新知识或者得到新结论。 常用的可视化工具如下: 5.6.3　数据可视化流程 第五章　大数据技术 5.6 数据可视化工具 1.入门级工具 入门级工具如Excel。Excel作为一种常用的办公软件,可以说是典型的入门级数据可视化工具。Excel可以方便地进行数据处理,统计分析,生成折线图、柱形图、饼图、雷达图、散点图、气泡图等各种统计图表。示例如图5-14所示。 图5-14 Excel统计信息 5.6.3　数据可视化流程 第五章　大数据技术 5.6 数据可视化工具 2.信息图表工具 信息图表工具常用的有ECharts、D3和 Tableau。 (1)Echarts (2)D3 (3)Tableau 5.6.3　数据可视化流程 第五章　大数据技术 5.6 数据可视化工具 3.时间线工具 Timetoast是在线创作基于时间轴事件记载服务的网站,提供个性化的时间线服务,可以 5.6.3　数据可视化流程 第五章　大数据技术 5.6 数据可视化工具 用不同的时间线来记录用户某个方面的发展历程、心理路程、进度过程等。Timetoast基于flash平台,可以在类似flash时间轴上任意加入事件,定义每个事件的时间、名称、图像、描述,最终在时间轴上显示事件在时间序列上的发展,事件显示和切换十分流畅,随着鼠标单击可显示相关事件,操作简单。如图5-18所示。 5.6.3　数据可视化流程 第五章　大数据技术 5.6 数据可视化工具 4.高级分析工具 可视化高级分析工具见表5-5。 $$