自招综述 01 大数据技术简介-《中学生数理化》高考版·自主招生 2019年9月刊（理化）

自招述2年想判中学生数理化 大数据技术简介 ■段鹏松 当前,大数据是个很热的词,各种大数据不能对实际工作行程进行指导,则不能称为 分析工具也时常出现,让人感觉非常时髦。大数据。尽管大数据的潜在价值高,但由于 那么,大数据究竟是什么?目前的研究进展数据量巨大,所以价值密度低,要通过大量分 如何?对普通人的生活有何影响?本文将围析才能实现从数据到价值的转变。 绕这些问题展开介绍 二、大数据典型案例 、什么是大数据 迄今为止,已经有不少的大数据应用经 人类的一切语言文字、图形图画、音像记典案例,这些案例的出现,使人们真正认识了 ,所有感官可以察觉到的事物,只要能被大数据的威力。 已下来,能够查询到,都可以称为数据 1.啤酒与尿布。20世纪90年代,全球零 data)。大数据也是数据,但又不同于一般售业巨头沃尔玛在对消费者购物行为分析时 的数据。一般来说,大数据除了一般数据的发现,男性顾客在购买婴儿尿片时,常常会顺 特征,还具有体量巨大、处理速度快、数据类便搭配几瓶啤酒来犒劳自己,于是尝试推出 型多样和潜在价值高这四个特征 了将啤酒和尿布摆在一起的促销手段。没想 1.体量巨大。体量巨大指的是大数据包到这个举措居然使尿布和啤酒的销量都大幅 含的数据数量非常多,占用的存储空间较大 增加了,取得了较好的经济效益。如今,“啤 以平时接触较多的手机流量来说,常见统计酒十尿布”的例子早已成了大数据技术应用 单位为kB、MB和GB等。这些统计单位之的经典案例,被人们津津乐道 间的关系为1GB=1024MB,1MB= 2. Google成功预测冬季流感。2009 1024kB。就目前的技术而言,要成为大数 Google通过分析5000万条美国人最频繁检 据,存储至少达到TB级别以上,而1TB 索的词汇,将之和美国疾病中心在2003年到 1024GB。但要注意,如果只是体量巨大,而2008年间季节性流感传播时期的数据进行 结构单一,也不能称为大数据。 比较,并建立一个特定的数学模型。通过该 2.处理速度快。实际生活中,数据量可能模型,最终成功预测了2009年冬季流感的传 会随着时间的积累而不断增长,也可能随着空播,甚至可以具体到特定的地区和州 间的变化而不断变化。数据都具有一定的时 3.大数据与乔布斯癌症治疗。乔布斯是 效性,如果采集到的数据不能得到及时处理,苹果手机的创始人,也是世界上第一个对自 最终会过期作废,失去应用的价值。对于海量身所有DNA和肿瘤DNA进行排序的人。 的数据,如果能在有效时间内完成处理,则可他支付了高达几百万美元的费用,得到包括 以称为大数据;反 不能称之为大数据 整个基因的数据文档。医生根据分析结果按 3.数据类型多样。作为大数据,其包 需下药,最终这种方式帮助乔布斯延长了好 数据类型可能是多种多样的,并不仅仅局 几年的生命 种数据类型。目前,文字、图片、语音、图像, 除此之外,还有其他很多的大数据应用 切在网络上可以传输和显示的信息,都可以案例,如淘宝平台对用户的精准画像、“互联 属于大数据的范畴。从结构上来说,当前的大网十”思维下的平台优势,以及近年来频频爆 数据主要指半结构化和非结构化的信息,如 出的演唱会上利用AI技术和人脸大数据抓 站的各种日志文件、发布的音视频文件等 捕逃犯等。随着技术的不断发展,未来会有 4.潜在价值高。大数据应用的最终目的更多的大数据应用出现 是通过挖掘和分析,发现趋势或规律,进而指 三、目前发展情况 导实际工作。如果数据本身是毫无规律的, 目前,IT界普遍认为当前大数据技术主 中学生数理化 自招综述生涯规划 自主招生2019年9 要起源于谷歌。谷歌工程师在2003至2006大数据的价值,推动大数据应用的平民化。 年先后公开发表了关于 Map reduce、GFS和 2.与云计算关系越来越密切。大数据的 Big Table等核心技术的学术论文,这一系列未来正朝着智能化的方向发展,涉及让机器 技术迅速引起巨大反响,吸引了雅虎、用人的思维去思考,理解人类的行为模式,并 Facebook等互联网公司的注意,直接导致了对未来进行预测,这些智能化的实现都离不 目前应用最为广泛的开源大数据框架开云计算。云计算是一种基于互联网的计算 he Hadoop的诞 方式,其计算效率高、速度快、成本低,不需要 随着人们对数据科学的深入认识,发达人们掌握专业的技术知识就可以使用,具有 国家都意识到数据作为国家战略资产的重要很强的灵活性。目前,很多大数据技术都已 性,以美国为首的多个国家先后发布了大数和云计算紧密结合 据的国家发展战略,联合国也发布了《大数据 3.与物联网紧密结合。随着智能交通 促发展:挑战与机遇》白皮书。报告中总结了智能家居、智能物流、智慧景区等应用的兴 各国政府如何利用大数据更好地服务和保护起,物联