内容正文:
数据与大数据
1
大数据思维
01
大数据的概念
02
大数据特征与处理过程
03
大数据对社会的影响
04
目录 Contents
情境引入
互联网、移动网络、物联网等每天都产生着大量数据,这些数据规模巨大、格式多样,已经很难用传统的方式进行处理。于是,大数据技术应运而生,通过分析、挖掘这些数据,发现其蕴藏的价值。
航 空
交 通
电 商
航空领域
航班延误预测:通过大数据分析历史航班数据,航空公司能够更准确地预测航班延误情况。这有助于提前调整航班计划,减少旅客不便,提升整体运营效率。
机场运营优化:大数据分析旅客流量和安检效率数据,帮助机场调整安检流程和优化航班调度,提升整体运营效率,改善旅客出行体验。
交 通
百度地图、高德地图查询最佳出行方案、公交实时到站信息,地图导航就会第一时间知晓交通事故、道路维修、交通管制等情况进而绕行。
电商领域
分析网站、移动端每天或每个时间段的流量以及来源和具体的用户追踪数据,了解客户访问的产品分类、品牌、价格和渠道,打造客户消费模型。通过数据确定客户的购买习惯,根据之前的购买方式推送有针对性的特价优惠和折扣商品。
大数据思维
机票不同时间段的价格不同,哪个时间段购买最划算?
全样而非抽样
出门坐什么车,交通情况如何,公交车还有几站到达?
效率而非精准
经常买什么,在哪个时间段购买,是否购买配套物品?
相关而非因果
数据量大就是大数据?
视频:《什么是大数据》
大数据概念
大数据代表信息量大、速度快、种类繁多的信息资产,需要特定的技术和分析方法将其转化为价值。
大数据之“大”, 不仅指规模、速度和种类的特征,还意味着它超出以往常用的数据采集、组织、 管理和加工等软件的处理能力,要求新型集成技术从多元、复杂和巨量规模的数据集里洞察规律。
大数据特征
数据量大不一定就是大数据,用传统算法和数据库系统可以处理海量数据不能算“大数据”,大数据特征可用4V表示:
数量(Volume)
速度(Velocity)
多样( Variety )
价值( Value )
仅供开采45年
数量(Volume)
1Byte
1
KB
1
MB
1
GB
1
TB
1PB
1EB
1ZB
1
YB
1PB相当人大脑能存储的信息
一般情况下,大数据是以PB、EB、ZB为单位进行计量的
1
PB
1
EB
1
ZB
1
YB
1
PB
1
EB
1
ZB
1EB相当于6626亿部《红楼梦》
数据产生的速度快,数据处理的速度快。
速度(Velocity)
多样(Variety)
人工产生:短信、微信、视频、语音、电子邮件等;
机器自动产生:生产检测、环境监测、交通检测、安防检测等。
价值密度低,大量的视频记录下来,有许多冗余。挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息。
大数据不仅仅是技术,关键是产生价值
价值(Value)
大数据最大的价值不是揭示过去,
也不是反映现在,而是预测未来。
大数据处理过程
数据采集
数据导入
数据分析
数据展示
真实性、完整性、准确性
将各种形式的数据集成等
挖掘大数据中的关联性
分析结果通过图像等方式展示
大数据处理过程
数据采集
数据导入
数据分析
数据展示
电商网站上浏览、购买记录
将各种记录集成、精简、转换
挖掘各种记录中的关联性
精准推荐相关性产品
大数据对社会的影响
带来新的就业需求
系统研发、应用开发、
数据可视化、数据分析
让生活更便利
避免交通堵塞、
提供各种出行参考
让决策更精准
精准助学与帮扶、
共享单车的数据确定交通路线图
大数据带来哪些新的问题?
国家安全
社会安全
个人隐私
大数据时代,广告为何总能找到你?
大数据时代,广告为何总能找到你?
全样而非抽样
效率而非精确
相关而非因果
大数据思维
小结
数据体量大
速 度 快
数据类型多
价值密度低
大数据特征
4V
数据采集
数据导入
数据分析
处理过程
国家安全
社会安全
个人隐私
带来的问题
数据展示
课后思考:
大数据时代我们该如何在大数据时代预防信息泄露?
谢谢!
26
视频:《大数据时代》纪录片
Multimedia Cloud Transcode (cloud.baidu.com)
$$