好，接着我们来看第五章，数据处理与可视化表达，总共就一个课时，内容比较简单。我们分为三个部分，大数据的概念与特征，数据处理的过程和数据的可视化表达。首先我们来看大数据的概念与特征。大数据概念是你数据量大，类型多，且无法通过传统软件在合理时间内处理的数据集合。你比如说交通大数据、淘宝大数据、抖音大数据，他们产生的数据可能是百亿条千亿条对吧？我们使用传统软件，比如excel对吧？你最多处理几百万条呗，对吧？对于这种百亿千亿你就没办法处理了。那么大数据它就只有数据量大这一个特征吗？不对，还有四个特征，首当其冲就是数据体量巨大，这是它的基础，从TB跃居到PB级别。我们一般下载软件，看视频都是什么？都是GBMB这种级别是吧？但是我现在有个PB级别，PB啥概念？1PB也等于5万个王者荣耀的容量，1PB也等于2亿张普通图片的容量，这是一PB那些电商平台，它可能是啊百万PB这种级别。第二个数据变化速度非常快，每秒都在快速频发。比如说抖音上每分钟都有四十多万条新视频发布，对吧？你像每秒有多少种，还有摄像头，全国那么多摄像头每秒都在录像，所以说变化速度非常快。第三个数据类型繁多，不仅有文字、视频、图片、位置信息，还有各种各样的电商平台里面我们一个商品有文字描述，有图片描述，有视频描述，地图人员有位置信息，所以说类型非常的多。第四个，数据价值密度低，数据体量大，但也用的少。你这每分钟上传四十多万个视频，有多少个有价值的呢？可能就那几千个，剩下的可能这个都不温不火的那还有这个监控视频，你比如说警察班，他看了2个小时的监控视频，可能有用的才能几十秒钟时间，甚至几秒钟时间。所以说价值密度非常低，虽然量大但密度低。那么看一下题目，如图所示，为了保证居住安全，小区内安装上摄像头采集数据。虽然连续不断的采集会产生大量数据，但是有用的数据可能仅仅是几秒。这主要体现了大数据的什么特征呢？A价值密度低。第二个大数据是智慧交通的各个环节是智慧交通基础。下列关于大数据的说法不正确的是，A大数据的处理对象强调的是全体数据，而不是抽样数据。是的，在以前没有这些信息化手段的时候，我们只能抽样去调查数据。但是你现在有了信息化手段，有了大数据技术，我们可以通同时处理百万条千万条数据，我们可以处理全体数据了。第二个智慧交通整合了大数据，人家说大数据贯穿到各个环节，那肯定有大数据云计算，对吧？我们在智慧交通里面会有智能分析，智能调度，智能计算，所以说它也是对的。你像大数据云计算，这两个基本上都是连着来的都是连着来的。因为数据量非常大，所以说我必须使用云计算技术，基本上有大数据就会有云算，它俩是一种相生的感觉。第三个用户是大数据的使用者，不是大数据的贡献者。不对，我抖音上发视频不是数据吗？我在淘宝上购物它不是数据吗？所以说我也是贡献者，这个是错的。答案应该选择我们的C。第四个D大数据特征，数据量大、数据快、数据类型多，这样的密度低，这个也是对的。但如果说大数据的特征就是数据量大，那这句话就错的。因为它还有其他三个。接着我们来看第二个数据处理的过程，数据采集、存储分析和可视化。我们首先来看第一个数据采集，根据需求选择适合的方式或工具获取采集的数据。比如说我们想获取农作物的土壤湿度、温度，我们可以使用传感器采集。我们需要调查高中的心理状况，我们可以使用问卷调查，我们想获取淘宝这个上的所有商品，或者豆瓣图书上所有图书，我们也可以使用网络爬虫。我们拍摄就可以去网络爬虫。如果说我们写了一个网站，我们想获取天气信息，不可能说我去建一个气站气象站。我们可以通过一些公开的API接口，你付费或者免费，它你调用它它就会给你返回天气信息了。还有一些其他的我省略了。第二个数据存储，将采集的数据通过合适的方式保存起来。你比如说硬盘存储、U盘存储、网盘存储和数据从数据库存储，最常见的就是这个U盘和网盘，这两个比较多。硬盘我们电脑用的就是硬盘，还有数据库存储，一般是这个系统的时候，专业的他就会使用数据库。第三个，数据分析或者加工。我们可以使用excel或者python进行数据分析或者加工。根据研究目的对于数据进行进一步分析或者加工。比如说我们数据清洗、数据筛选、数据排序、分类汇总计算、平均分计算、总分计算什么什么的，这些都是对数据进行操作。第四个就是数据与可视化，用excel或者python将我们分析后的数据以图表动画的方式直观的呈现出来。大家上初中的时候应该上到这个excel，它可以生成各种图表，我们的python也可以python也可以，我们这里有个折线图，还有其他的图。我们后面会专门讲。第三部分，我们首先来看一下题目，为了调查高中生心理压力的来源，张老师设计的如图所示的调查问卷，学生填写该文件属于哪一个？问卷调查采集、数据采集、获取信息。第二个找出报篮球项目的同学，如图所示，我这是个筛选，都告诉你的筛选对数据进行操作了。所以说这属于数据中的什么数据加工与数据分析，根据目的对数据进行加工和分析。第三个，我用手机订购机票，它设置的条件后得到测试信息显示如图所示的结果，人家告诉你显示如图所示的结果，所以说它是数据呈现，或者说数据可视化。可视化不仅仅是各种图，它也可以是这种列表的形式。第一个选采集，第二个选加工，第三个选呈现。接着我们来看数据的可视化表达，这个主要是区分。我们书上表5-5就这个区分，你要把这些图给它区分开来，柱形图、折线图和饼图，柱形图、折线图和饼图我就不讲了，它们的功能以及各自的图形形状大家都能区分开来。小学和初中我们下面讲散点图，散点图就是坐标图上出现的多很多个点反映变量关系的这是散点图。雷达图它可以多维度展示数据信息，你看它是一个不规则的多边形，我们说这个奥运会马龙是六边形战士，其实就是六用六个边都到达了顶点，表示它六个维度都非常烈，就是雷达图的一种体现。而慈云它进行词频分析或者关键字提取，它会通过大小不一的各种词，大的词就代表出现的次数，如果小的词就代表出现次数少，从而判断哪个词中哪个词少，进行咨询分析。最后一个热力图，它表示数据密集度，数据分布范围，就这种它是不同颜色深浅的一个区域。比如说我们想表示人口密度，还有一些比如说新冠肺炎它的一个感染情况，颜色越深代表这个密集度越高。这是我们的数据可视化，我们来进行区分一下。这个是图形可视化的呈现方式是哪一个。就算我今天不讲那个，你也能做出来答什么答案，选择我们的A饼图饼图。第二个，为了接单更多，张师傅查看如图所示的订单地图，订单地图你看越深的地方他肯定单越多，这种可视化的呈现方式什么呢？深浅不一的这个颜色是动态热力图，动态热力图，雷达图，这个多边形散点图很多个点，3D动态型的图没有3D的效果。接着我们总结一下本节课所学知识。大数据的特征有四个，体量大、速度快、并行度、密度低，过程采集存储分析可视化，可视化表达，你要区分出来各种屠，本节课就到此结束。