1.5数据库领域的新技术（课件）-《数据库应用技术-SQL Server》同步教学（人民邮电版）

数据库系统概述 第1章 目录 01 数据库系统 的基本概念 02 数据管理技术 03 数据模型 04 数据库系统 的结构 05 数据库领域 的新技术 本章主要内容 本章主要介绍数据库系统的基本概念、数据管理技术的产生和发展、数据模型、数据库系统的结构和数据库领域的新技术等。 数据库技术主要研究如何对数据进行科学管理，从而为人们提供可共享的、安全的、可靠的数据。数据库技术是现代计算机信息系统和计算机应用系统的基础和核心。因此，掌握数据库技术是全面认识计算机系统的重要环节，也是适应信息化时代的重要基础。 数据库领域的新技术 第1章 05 1.5.1 数据仓库和数据挖掘技术 计算机系统中数据处理可以分成两大类：操作型处理和分析性处理，又称为联机事务处理（On-Line Transaction Processing，OLTP）和联机分析处理（On-Line Analytical Processing，OLAP）。 OLTP是传统的关系数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易、证券交易。 随着数据库应用领域的扩展和变化，每个企业的数据量每2～3年就会成倍增长，企业希望最大化地利用已存在的数据资源，对自身业务运作及整个市场相关行业的态势进行分析，做出最佳的商业决策，以提高市场竞争力。这种基于业务数据的决策分析成为OLAP，它是数据仓库（Data Warehouse，DW）系统的主要应用，支持复杂的分析操作，通常是对海量的历史数据查询和分析，如金融风险预测预警系统、证券股市违规分析系统等，侧重决策支持，并且提供直观易懂的查询结果。 1．数据仓库 数据仓库是近年来数据库领域发展的一种新技术，它建立在原有数据库的基础之上，是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合，用于支持企业（或组织）商业决策的制订过程。 数据仓库的基本特征 ① 面向主题 在数据仓库中需要将应用系统中的数据模式抽象为面向主题的数据模式，去除应用系统中那些不必要、不适用于数据分析的信息，提取那些对主题有用的信息，以形成某个主题的完整且一致的数据集合。 ② 集成 按照统一的结构和格式、相同的语义将这些数据进行加工和集成、统一和综合，消除数据的不一致，以保证数据仓库中的数据是面向主题的、全局的、一致的信息。 ③ 稳定且不可更新 一旦数据被加工处理存放到数据仓库中，一般情况将作为数据档案长期保存，不能进行修改和删除操作，数据不可再更新。 ④ 随时间不断变化 用户虽然不能更改数据仓库中的数据，但随着时间变化，数据仓库系统会进行定期刷新，不断添加新数据到数据仓库，以随时导出新的综合数据和统计数据，同时系统会删除一些旧数据。 数据仓库系统的体系结构 2．数据挖掘 数据挖掘（Data Mining，DM），是从大量数据中发现并提取隐藏在内的、人们事先不知道的但又可能有潜在利用价值的信息和知识的一种新技术。数据挖掘包含以下几层含义。 ① 数据是真实的、大量的。 ② 发现的是用户感兴趣的知识。 ③ 发现的知识支持特定的问题，要可理解、可运用。 数据挖掘系统的体系结构 数据挖掘方法 ① 分类和预测。分类和预测类似于人类的学习过程，仔细观察某种现象，然后得出该对象特征的描述或模型。 ② 关联分析。通过发现数据之间的关联，可以获取有价值的知识，从而为决策提供依据。 ③ 聚类。聚类将数据划分为多个有意义的子集（类），使得类内部数据之间的差异最小，而类之间数据的差异最大。 ④ 偏差检测。数据库中通常会有一些异常数据，从数据库中检测这些偏差非常有意义。 1.5.2 大数据技术 所谓“大数据”，是指无法在合理的时间范围内用主流软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据是一次对国家宏观调控、商业战略决策、服务业务和管理方式及每个人的生活都具有重大影响的一次数据技术革命。大数据的应用与推广将给市场带来巨大的收益，这被称为数据带来的又一次工业革命。 1．大数据产生的背景 互联网搜索引擎支持的数十亿次Web搜索每天都会处理大量数据。遍及世界各地的大型商场的海量的门店每周都要处理数亿次交易。现代医疗行业如医院、药店等每天也都产生庞大的数据量，如医疗记录、病人资料、医疗图像等。我们进入了一个以数据为中心的时代——大数据时代。 从数据库技术的发展过程来看，大数据并非一个全新的概念，它与数据库技术的研究和发展密切相关。 20世纪70年代中期，数据库研究人员就提出了“超大规模数据库”（Very Large DataBase，VLDB）的概念，并在1975年召开了第一次VLDB国际会议，目前该会议在数据库领域仍具有较高的影响力。21世纪初 ，“海量数据”的概念被提出，它用来表示更