5.2大数据（课件）-《信息技术》同步教学（大连理工大学出版社）

模块五 新一代信息技术概述 　　Cloud 2.0( 云 2.0) 时代主要表征为产业化 、 智能化 、 可信化 、 集中化 、 分布化 , 是新一代技术的典型标配 , 是产业变革 、 企业数字化转型的驱动力 。Cloud 2.0 主要由云计算 、 大数据 、 人工智能 、 区块链 、 物联网及 5G 等技术组成 。 以云计算 、 大数据 、 区块链为支撑的信用体系 、 业务体系 、 决策体系 , 以人工智能为支撑的交易体系 、 风控体系 、 运营体系 、 正在成为推动企业高质量发展的新动力 、 新引擎 。 多种新兴技术的交叉运用 , 带来人机交互方式 、 数字化业务体系的不断革新 , 形成随时 、 随地 、 随心的沉浸式 、 情境式体验 。Cloud 2.0 将重构人们的体验习惯和商业生态 。 　　新一代信息技术是以人工智能 、 量子信息 、 移动通信 、 物联网 、 区块链等为代表的新兴技术 。 它既是信息技术的纵向升级 , 也是信息技术之间及其与相关产业的横向融合 。 本模块主要介绍这五种技术 。 1 项目一　人工智能 2 项目二　大数据 3 项目三　云计算 4 项目四　物联网 5 项目五　区块链 2 02 大数据 项目描述 　　大数据 、 人工智能和云计算高度融合 , 使企业呈现数字化发展趋势 。 云服务提供商倾向于提供一体化的平台 , 为用户提供统一的人工智能分析建模 、 大数据计算以及资源分配与共享管理功能 , 从而增加便利性 、 降低使用成本 、 丰富业务场景 。 大数据可应用于各行各业 , 它将人们收集到的庞大数据进行分析整理 , 实现资讯的高效利用 。 例如 , 在购物网站上购买商品 , 要从海量的商品中挑选自己需要的商品 , 是非常浪费时间的 。 在大数据的支持下 , 系统会推送商品 , 按照客户需求将商品名称 、 商品特点 、 价位 、 品牌等提供出来 , 缩小选择范围 , 提高选择效率 。 项目分析 　　本项目将介绍大数据的概念 、 关键技术以及未来发展趋势 。 项目实现 　　1.大数据的概念 　　大数据 (Big Data), 是指无法在一定时间范围内用常规软件工具进行捕捉 、 管理和处理的数据集合 , 需要新处理模式才能具有更强的决策力 、 洞察发现力和流程优化能力的信息资源 。它也可以被定义为各种来源的大量非结构化和结构化数据 , 通常包含的数据量超出了传统软件在可接受的时间内处理的能力 。 大数据也称为巨量数据 、 海量数据 。 　　身处数据时代 , 数据规模以指数形式递增 , 数据的结构也越来越复杂 , 这使得 “ 大数据 ” 具有与普通 “ 数据 ” 相比不同的深度价值 。 现代社会是一个高度信息化 、 数字化的社会 , 随着互联网 、 物联网和云计算等技术的飞速发展 , 使得数据分布在各个行业并且贯穿业务始终 , 数据不再从单一来源产生 , 形式越发多样 , 这些改变都使数据成为一种新的资源 , 需要人们对其加以合理 、 高效 、 充分的利用 。 　　简而言之 , 大数据是现有数据库管理工具和传统数据处理应用方法都很难处理的大型 、 复杂的数据集 。 大数据技术包括大数据的采集 、 存储 、 搜索 、 传输 、 分析等技术 , 是数据分析的前沿技术 , 即从各种类型的数据中快速地获得有价值信息的能力 , 是基于云计算的数据处理与应用模式 , 通过数据的集成共享 、 交叉复用而形成服务能力 。 项目实现 　　2.关键技术 　　(1) 大数据采集技术 　　大数据采集技术是指通过对接不同类型 、 不网存储介质的数据源 , 获得各种类型的结构化 、 半结构化及非机构化的海量数据 , 并最终将这些数据接入大数据平台过程中所需要的一系列相关技术 。 　　因为大数据场景下数据源多种多样 , 数据量大 , 产生速度快 , 所以大数据采集技术也面临着许多技术挑战 , 必须保证数据采集的可靠性和高效性 , 还要避免重复数据 。 针对不同场景的特性 , 目前有不同的大数据组件来支持对应场景的数据采集过程 。 　　(2) 大数据存储与管理技术 　　大数据存储与管理是大数据分析流程中的重要一环 , 即通过数据采集得到的数据 , 必须进行有效的存储和管理 , 才能用于高效的处理和分析 。 大数据存储与管理是利用计算机硬件和软件技术对数据进行有效的存储和应用的过程 , 其目的在于充分有效地发挥数据的作用 。 在大数据时代 , 涉及的数据量越来越大 , 已经超出了很多传统数据存储与管理技术的处理范围 。因此 , 大数据时代涌现出了大量新的数据存储与管理技术 , 包括分布式文件系统和分布式数据库等 。 项目实现 　　分布式系统包含多个自主的处理单元 , 通过计算机网络互连来协作完成分配的任务 。 分布式系统更能适应现在分布广泛的企业组织结构 , 而且更可靠 、 响应速度更快 。 当今很多的互联网应用在本质上就是分布式的 , 例如基于 Web 的应用 、 电子商务 、 在线游戏等 。 　　分布式架构通过分而治之的策略能够更好地解决大规模数据处理问题 , 分布式存储系统的目的在于在多个节点上进行数据存储和管理 , 对外作为一个整体提供服务 。 分布式存储系统作为底层管理数据的基础设施 , 让分布式处理更加简单和高效 。 分布式存储系统出现了多种系统 , 根据系统中数据存储格式和存取接口的不同可以分为分布式文件系统 、 分布式键值系统及图数据库 。 项目实现 　　(3) 大数据处理与分析技术 　　大数据分析是大数据技术的核心 , 是提取隐含在数据中潜在价值的信息和知识的过程 。大数据分析技术包括对已知数据信息进行分析的分布式统计分析技术 , 以及对未知数据信息进行分析的分布式挖掘和深度学习技术 。 在数据处理与分析环节 , 可以利用统计学 、 机器学习和数据挖掘方法 , 并结合数据处理与分析技术 , 对数据进行处理与分析 , 得到有价值的结果 , 服务于人们的生产和生活 。 统计学 、 机器学习和数据挖掘方法并非大数据时代的新生事物 , 但是 , 它们在大数据时代得到了新的发展 ——— 实现方式从单机程序发展到分布式程序 , 从而充分利用计算机集群的并行处理能力 。 大数据处理技术 , 为高性能的大数据处理与分析提供了强有力的支撑 , 有效地满足了企业在不同应用场景下的大数据处理与分析需求 。 项目实现 　　(4) 大数据安全与隐私保护技术 　　针对安全隐私保护 , 代表性的技术是数据访问控制 : 用户认证 、 数据授权等 。 针对数据本身 , 通过对数据的敏感字段加密或者脱敏从而实现对数据安全隐私的保护 。 从技术上看 , 大数据与云计算的关系非常密切 。 大数据的处理无法仅凭单台计算机完成 ,因此 , 大多采用分布式计算架构实现数据处理 。 云计算解决了大数据的运算平台问题 , 而且大数据的存储也需要云平台的支撑 。 由此可见 , 大数据所面临的安全访问控制 、 数据存储安全等问题也就必然涉及云计算安全问题 。 项目实现 　　3.未来发展趋势 　　(1) 人工智能 、 大数据 、 云计算和物联网之间将高度融合为一体化的系统 　　近几年工业界的发展趋势可以很好地体现高度融合的观点 。 当前无论是公有云还是专有云 , 都倾向于提供一体化的平台 , 为用户提供统一的人工智能分析 、 大数据计算以及资源分配与共享 , 从而增加便利性 、 降低成本 , 更多地提供大数据存储及智能分析的软件服务能力 。 　　云计算是数据的处理中心 , 大数据是互联网产生智慧和意识的基础 。 也可以说 , 云计算为大数据提供有力的工具和途径 , 大数据为云计算提供场所 。 物联网是数据的采集端 , 作为新一代信息技术的重要组成部分 , 是互联网的应用拓展 , 广泛应用于智能交通 、 智能家居 、 气象预报 、 工业监测 、 健康医疗等诸多领域 。 物联网 、 互联网每天都产生海量数据 , 为大数据提供数据来源 , 而大数据则通过云计算的形式 , 对这些数据进行分析处理 , 提取有用的信息 。 项目实现 　　(2) 大数据的安全和隐私保护成为首要内容 　　2018 年 , 一个标志性的事件使得数据安全与隐私保护成为政府 、 学术界和产业界共同关注的焦点 , 这就是欧盟 《 通用数据保护条例 (GDPR)》 的推出 , 引发了高度关注 。 　　(3) 大数据处理多样化模式并存融合 　　在大数据处理模式方面 , 专家们认为批量计算 、 内存计算等多种大数据计算模式将同时存在 , 一些技术将趋于融合 。 因为现实中的需求是多样化的 , 不同业务场景中数据的量级 、 产生的速度等差异巨大 , 这就需要有多样化的模式来满足差异化的需求 。 通过从数据中提炼信息和知识 , 可以消除原始数据中的不确定性 , 在海量知识的基础上进行检索和推理 。 大数据技术已经在越来越多的领域成为数据处理与分析中不可或缺的一部分 , 随着大数据分析模式的日益成熟 , 大数据必然在更多传统领域发掘出更多有意义的数据价值 。 相关知识 　　1.大数据的4V特征 　　国际数据公司在 《 从混沌中提取价值 》 报告中提出了大数据的 4V 特征 , 即数据容量大(Volume)、 数据类型繁多 (Variety)、 商业价值高 (Value)、 处理速度快 (Velocity)。 　　2.算法 　　算法是对解决特定问题求解步骤的描述 , 在计算机中表现为指令的有限序列 , 并且每条指令表示一个或多个操作 。 可以理解成一种进行数据分析的统计学过程 , 在大规模的数据之上使用算法 , 从而获取有价值的信息 。 　　3.批量数据处理 　　批量数据处理 ( 简称批处理 ) 是一种对于大容量静态数据集进行分析的有效方法 。 通常一次批处理任务的时间跨度在几分钟到数小时之间 , 并在计算完成后返回结果 。 由于批处理在应对大量数据方面的表现非常出色 , 经常用于对历史数据进行分析 , 大量数据的处理需要付出大量的时间 , 因此不适合对处理时间要求较高的情景 。 创新作业 　　谈谈生活中 “ 大数据应用 ” 的例子 。 $$