内容正文:
数据管理与大数据
1.4 数据管理与安全:思维导图
lwqw400ymh
Cindycy1/2ezdgg
while(1)Ape1Cry&&Ape2Cry
密码多了记不住?
复习
3
3、1000个苹果装入10个箱子,该怎么装?
2、数据:结构化、半结构化、非结构化
1、怎么维护数据安全
4、pdf wav zip
复习
数据库技术
问题:如何管理生活中的数据?
数据库技术:基于结构化数据开发的,具有数据独立性、数据可共享等特点。
①解决数据冗余的问题。
②解决维护、更新数据时需要大量的人工干预的问题。
问题:如何理解书本中关于结构化、半结构化和非结构化数据的描述?(P24)
拓展链接
问题1:经常接到广告推销的电话,他们是怎么知道我们的号码?
数据安全
问题2:威胁数据安全的因素有哪些?
硬盘驱动器损坏、操作失误、黑客入侵、感染计算机病毒、遭受自然灾害。
问题3:如何提高数据本身的安全?(P24)
(1)保护存储数据的介质:磁盘阵列、数据备份、异地容灾
(2)提高数据本身的安全:数据加密、数据校验
1.4 数据管理与安全:思维导图
数据与大数据
互联网、移动网络、物联网等每天都产生着大量数据,这些数据规模巨大、格式多样,已经很难用传统的方式进行处理。于是,大数据技术应运而生,通过分析、挖掘这些数据,发现其中蕴藏的价值。那么,什么是大数据?
大数据之“大”,不仅指规模、速度和种类的特征,还意味着它超出以往常用的数据采集、组织、管理和加工等软件的处理能力,要求新型集成技术从多元、复杂和巨量规模的数据集里洞察规律。
大数据特征(P26)
数据量大就是大数据吗?
大数据有四个特征,分别为:
数据规模大、处理速度快、数据类型多、价值密度低。
可以用4个V来概括:
数量(Volume)、速度(Velocity)、多样(Variety)、价值(Value)
大数据思维(P27)
1.大数据要分析的是全体数据,而不是抽样数据。
2.对于数据不再追求精确性,而是能够接受数据的混杂性。
3.不一定强调对事物因果关系的探求,而是更加注重它们的相关性。
大数据是一场变革,改变的不仅是数据,还有人们的思维
大数据对社会的影响(P28)
1.大数据让生活更便利(如:城市热力图)
2.大数据让决策更精准(如:利用共享单车产生的大数据,精确地制定更为利民的交通路线图)
3.大数据带来新的就业需求(如:系统研发工程师)
4.大数据带来新的社会问题(如:个人信息泄露)
“我们相信技术可以成为推动生活改变的最大力量,技术本身没有好与坏,他们什么都不想要,一切由我们人来决定,由我们每个人来决定。”
1.5 数据与大数据:思维导图
1.5.2大数据的特征
大数据通常指100 TB( 1TB=1024 GB )规模以上的数据量,数据量大是大数据的基本属性。根据国际数据资讯(IDC)公司监测,全球数据量大约每两年就翻一番,预计到2020年,全球将拥有35 ZB 的数据,并且85%以上的数据以非结构化或半结构化的形式存在。
一、数据体量大(Volume)
K 1KB = 1024 Byte
M(兆)字节 1MB = 1024 KB
G(吉)字节 1GB = 1024 MB
T(太)字节 1TB = 1024 GB
P(拍)字节 1PB = 1024 TB
E(艾)字节 1EB = 1024 PB
Z(泽)字节 1ZB = 1024 EB
Y(尧)字节 1YB = 1024 ZB
……
1.5.2大数据的特征
大数据通常指100 TB( 1TB=1024 GB )规模以上的数据量,数据量大是大数据的基本属性。根据国际数据资讯(IDC)公司监测,全球数据量大约每两年就翻一番,预计到2020年,全球将拥有35 ZB 的数据,并且85%以上的数据以非结构化或半结构化的形式存在。
一、数据体量大(Volume)
K 1KB = 1024 Byte
M(兆)字节 1MB = 1024 KB
G(吉)字节 1GB = 1024 MB
T(太)字节 1TB = 1024 GB
P(拍)字节 1PB = 1024 TB
E(艾)字节 1EB = 1024 PB
Z(泽)字节 1ZB = 1024 EB
Y(尧)字节 1YB = 1024 ZB
……
16
1.5.2大数据的特征
一、数据体量大(Volume)
IDC全球数据使用情况及预测
之所以产生如巨大的数据原因有三点:
1. 由于互联网络的广泛应用,使用网络的用户、企业、机构增多,数据获取、分享变得相对容易。用户可通过网络非常方便的获取数据,通过有意的分享和无意的点击、浏览可快速的提供大量的数据;
2. 随着各种传感器数据获取能力的大幅度提高,使得人们获取的数据越来越接近原始事物本身,描述同一事物的数据