第2章商业分析的数据环境（课件）《商业分析实务》（华东师范大学出版社）

第二章 商业分析的数据环境 1 数据和数据类型 数据获取 分析类型与数据需求 企业数据资源开发利用 目录 CONTENT 01 02 03 04 01 数据和数据类型 3 数据 数据的出现和被人类所利用，可以追溯到三千多年前的古代。 人类在农业社会中，古埃及法老在尼罗河边的石柱上留下每年测量尼罗河水位的刻度，以此来观测来年可能的税收数量。 古代中国早在汉代就有人口普查和田亩统计，用于税收政策的制定。 在古拉丁文中，它被称为Datum,其复数形式为data，指的是内涵确定、定义明确、毫无歧义的东西，中文，我们称之为数据。 数据内容 主题 属性 状态 数据的基础 谓语 对主题属性的描述 数据 数字与数据 数字是普适性的概念，是对一切事物的数量性质的表达。数据则是具体性的概念，是对一个事物的数量性质的表达。对一个事物可以有多种数据表达形式，取决于人们的认识程度和使用目的。 对一个事物的数据表达越多，对这个事物的定义越精准，人们对这个事物的认识就越深入，可利用程度就越高 数据和信息 两个术语密切相关，事实上，它们常常被互换使用。信息可以定义为以某种方式处理过的数据。处理数据的目的是为了使数据使用者增加知识。 数据是使用约定俗成的字符，对客观事物的数量、属性、位置及其相互关系进行抽象表示，可以用人工或自然方式进行保存、传递和处理。信息与数据相比，除了具有自然属性或社会属性，还包括价值判断，尤其是社会价值判断。 数据类型 大数据分析是大数据理念与方法的核心，是指对海量、类型多样、增长快速且内容真实的数据（即大数据）进行分析，从中找出可以帮助决策的隐藏模式、未知的相关关系以及其他有用信息的过程。通过处理稳定的实时数据流，组织可更加快速地做出时间敏感的决策、监控最新趋势、快速调整方向并抓住新时机。而这些需要对不同类型的数据进行分类并且处理。 传统的数据分类一般将数据分为结构化数据与非结构化数据。 非结构化数据 记录了生产、业务、交易和客户信息等。 结构化数据 涵盖了更为广泛的内容，包括了如合约、发票、书信与采购记录等营运内容；如文书处理、电子表格、简报档案与电子邮件等业务内容；如HTML与XML等格式信息的Web内容；以及如声音、影片、图形等多媒体内容。 数据类型 1.从描述和度量事物的角度将数据分为定量和定性数据 数值只能用自然数或整数单位计算。 数据 定量数据 定性数据 连续 离散 有序 名义 连续数据取值可以是在某一区间的任一实数，通常称这类资料是连续的，或考察的指标是连续的。 有序的是指有些资料既不能计量，也不能计数，只能通过比较，评出一个顺序，如学历。 名义数据是指，有些资料仅仅是一个名义值，值的顺序和大小并无统计意义。如性别，不同颜色的编号，不同书籍的代码等等。 数据类型 2、结合应用场景可以分为以下四种数据类型 （1）记录集数据。记录集数据，顾名思义，就是数据的集合。一般是经过汇总的数据集合。可以导入数据库等工具进行直接的运算和分析。常见的记录集数据如客户数据的记录集，事务数如对一件事情的记录、数据矩阵以及文档词矩阵等经过汇总的数据集。这一类数据通常具有明确的指向性，可以抽取样本进行直接的分析。 （2）有序的数据。有序的数据是按照一定顺序排列的数据。其数据特征一般存在于不同时间阶段的特征变化之中。一般而言具有较为单一的数据属性。常见有四种数据类型：时序事务数据，基因组序列数据，温度时间序列数据，空间温度序列数据。这些数据不能随意排列，需要按照顺序进行分析。序列分析通常能够发现数据的变动规律，从而对数据的动向进行预测。 数据类型 （3）文本类与WEB数据。文本类与web数据是随着互联网的发展产生的非结构化数据。文本和web数据由来自各种数据源的大量文档组成，如新闻文章、研究论文、书籍、数字图书馆、电子邮件消息和web页面信息。其增长速度快，包含的信息量大，信息挖掘的难度也大。在数据分析领域，文本数据的分析是一个重要的方向，包括主题识别和情感分析等。 （4）多媒体类数据。文本类的数据带来了数据挖掘的价值，而多媒体数据的挖掘技术将数据分析提上了新的台阶。目前的多媒体数据主要有图像、声音和视频。多媒体的数据分析与文本数据等不同，目前其应用已经得到一定的推广，如音乐辨识、语音识别、基于图像的搜索等等。早有企业将其触角深入这个领域之中，如我国第一家多媒体数据库，国道数据多媒体特色专题数据库。 02 数据获取 互联网数据获取 网络爬虫（又常被称为网络蜘蛛、或Spider/Crawler系统）是一种按照一定规则，自动抓取万维网信息的程序或者脚本，是最常用的外部网络数据抓取技术。网络爬虫可以自动提取网页的源码，根据网页结构来筛选网页中的数据。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。 网络爬虫的执行程序 主过程 控制器 解析器 资源库 负责给多线程中的各个爬虫线程分配工作任务 下载网页，进行页面的处理 存放下载到的网页资源，并对其建立索引 移动互联网数据获取 SDK（软件开发工具包，Software Development Kit）是辅助开发软件所需的相关文档、范例和工具的集合。它可以简单地为某个程序设计语言提供应用程序接口API的一些文件，也可以包括能与某种嵌入式系统通讯的复杂的硬件。移动SDK是指嵌入移动平台的SDK应用。一般而言，SDK可以通过移动设备进行更加精确、实时的数据采集与数据分析，来满足用户对数据采集、无线数据传输与移动智能运算的需求。 移动SDK常用于统计APP的基础数据：用户数、活跃情况、流失用户比例、使用时长等。 移动SDK的平台支持andriod和ios平台。目前，移动SDK已经接入到如微博、Google移动广告、移动游戏、移动支付、移动地图等应用软件平台。 物联网数据获取 1.物联网与传感器 无线传感器网络具有以下功能，它能够实时监测各种环境参数并且监测监控对象的信息，并传送到用户，用户再对这些信息进行处理。 无线传感器网络可以实时监测区域内的各种监测目标的参数，并可以处理采集数据，从收集到的原始数据分析得到人们想获得的抽象的信息。 传感器网络会产生大量的监测数据。每个传感器节点都会生成大量的数据流，这些数据流数据量大实时性要求高。在有限的节点处理能力情况下，需要人工处理一些实时监测数据。 传感器网络是以数据作为中心，终端系统可单独地加入互连网络中。在Intenet网上，要访问网络中的任何资源，你必须知道它的网络地址。在互联网中，网络中每个终端系统的地址与一个唯一的地址对应。无线传感器网络中的单独的的传感器节并没有任何意义。网络获得用户所需要的信息后将其返回给用户。 物联网数据获取 2.物联网与无线射频 物联网内涵的变化： 定义1：物联网是未来网络的整合部分，它是以标准、互通的通信协议为基础，具有自我配置能力的全球性动态网络设施。在这个网络中，所有实质和虚拟的物品都有特定的编码和物理特性，通过智能界面无缝链接，实现信息共享。 定义2：由具有标识、虚拟个性的物体／对象所组成的网络，这些标识和个性运行在智能空间，使用智慧的接口与用户、社会和环境的上下文进行连接和通信。 定义3：物联网指通过信息传感设备，按照约定的协议，把任何物品与互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。它是在互联网基础上延伸和扩展的网络 以无线传感网络和云计算为核心，内涵包括无处不在的数据采集、可靠的数据传输和信息处理以及智能化的信息应用 物联网数据获取 产品、商品等物体 不可读信息 可见信息 无线射频识别（RFID）技术 非数据信息 数据信息 RFID能远距离识别信息，且不同于早期的条码技术，它不需要可见的线来识别。RFID标签与条形码相比支持更大数量集的唯一的ID标识符，而且可以与一些增加一些附加信息如制造商、产品类型甚至环境因素测量如温度等。 可以识别同一个区域的多个不同的标签。 其他数据获取途径 传统的数据采集方法：调查法、观察法、实验法和现有资料查询以及网络查询等。 数据收集包括一手数据和二手数据的收集。 一手数据是指原始的数据，通过调查、观察和实验获取数据。 调查 普查 抽样调查 适用于对每个单位资料的统计调查，如人口普查 从总体中抽取一小部分个体，通过抽取的样本来推断总体。抽样调查的应用范围非常广泛，例如调查商品市场、金融市场情况等 观察法 调查人员直接或利用仪器在现场观察调查对象的活动，通过观察对象来收集资料的方法。 不能被被调查者觉察，适用于任何人都可以接触的数据，或者可以直接以观察获得数据的情况。 如车站人流统计、交通流量、货架上的价格标识等。 实验法 研究者在研究领域内，为发现一个特定过曾或系统的某些现象或规律，而设计的一系列实验。 03 分析类型与数据需求 分析类型与数据需求 用户类别与分析类型 用户类别 分析专家 业务经理 所有员工 分析类型 报表级的分析 多维分析 专题分析 数据挖掘 企业级报表 企业的报表分析，也称企业的财务分析。是通过收集、整理企业财务会计报告中的有关数据，并结合其他有关补充信息，对企业的财务状况、经营成果和现金流量情况进行综合比较和评价，为财务会计报告使用者提供管理决策和控制依据的一项管理工作。 具体的分析方向主要从企业的偿债能力、资本结构分析、经营效率分析、盈利能力分析、现金保障能力分析和利润构成分析。 单个年度的财务比率分析 不同时期的比较分析 与同行业其他公司之间的比较 多维分析 多维分析是对多维空间的数据进行分析。用户通过在数据立方体上进行切片、切块、钻取、旋转等操作实现多角度多力度了解数据，将数据转化为信息的过程。 切片 从数据立方体中切出一个截面来，对数据进行降维处理。其中一个维度定为一个固定的值，多维数据从N维降为N-1维。根据剩余的N-1维对数据进行展现。 切块 从数据立方体中切出子立方体。这是通过限定各个维的范围实现的。 钻取 改变维的层次，变换分析的粒度。它包括，向上钻取和向下钻取。向下钻取是从粗粒度深度深入到细粒度观察数据。向上钻取是从细粒度扩展到粗粒度观察数据。 旋转 将维度在行和列的位置进行变换，改变观察的角度。旋转操作可以使用户改变一个报告或页面显示的维的方向。旋转最常见的形式是在报告显示中将某一行维转移到列维上去。通过旋转操作，用户可以对多维分析结果的显示方式进行调整，以达到准确、直观的目的。 多维分析 OLAP分析，即联机分析处理，它以多维分析为基础，在建立好数据仓库的基础之上利用多维数据库模型使得原来隐藏在这些纷繁复杂的数据后面的信息具体化、可视化。传统的OLAP系统中，为减少数据冗余，消除关键数据操作（插入、删除、更新）可能引发的异常，需要对关系进行一定程度的分解。 OLAP的核心：多维数据处理, 通过多维分析查询, 用户可以从多角度、多侧面地观察数据库中的数据, 从而深人地了解包含在数据中的信息和内涵, 找出各种因素对测量指标的影响。 多维分析视图就是冲破了物理的三维概念, 采用了旋转、切片、切块、钻取等可视化技术, 在屏幕上展示多维视图的结构, 使用户能直观地理解和分析数据。 多维分析的典型操作 专题分析 企业专题分析就是针对企业生产经营活动中的某项专门问题所进行的分析。如企业的计划执行情况、产品质量情况、劳动时间利用情况、资金占用情况等等。专题分析师在多维分析的基础上，对企业信息的一个方面进行深入的信息提炼和信息比较，紧扣企业的业务热点，对企业经营提出相关的行动建议。一般在商业分析中，企业专题分析处于较高的层次，其面向的是某个特定应用，钻取企业的细节数据，从而产生行动建议。 数据挖掘 数据挖掘就其定义而言，是指从大量的数据中通过算法搜索隐藏于其中信息的过程。 数据挖掘属于商业分析的较高层次，既是一种手段，也是一个目标。 数据挖掘主要面向决策，从海量数据中挖掘潜在的、无法直观得出的结论。 数据挖掘模式的特征： 通用性。要求其分析具有延伸意义，对新数据同样适用。 新颖性。表示该模式是深层次的，挖掘结果可能会打破先有认知。 有效性。表示这种挖掘可以指导实际的行动。 数据挖掘的模型部署 04 企业数据资源开发利用 企业数据资源开发利用 大数据在银行业的应用主要体现在四个方面:客户画像、运营优化、精准营销、风险管控。 第一方面：客户画像应用。 客户画像应用主要分为个人客户画像和企业客户画像。 个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等； 企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。 值得注意的是，银行拥有的客户信息并不全面，基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以加深对客户的了解。包括： 1、客户在社交媒体上的行为数据。 2、客户在电商网站的交易数据。 3、企业客户的产业链上下游数据。 4、其他有利于扩展银行对客户兴趣爱好的数据。 企业数据资源开发利用 第二方面：精准营销。 1、实时营销。 2、交叉营销。 3、个性化推荐。 4、客户生命周期管理。 第三方面：风险管控。 1、中小企业贷款风险评估。 2、实时欺诈交易识别和反洗钱分析。 第四方面：运营优化。 1、市场和渠道优化。 2、产品和服务优化。 3、舆情分析。 思考题 1、思考数据采集与信息技术发展的关联，并调研当前新趋势。 2、根据自己所处或希望从事的行业，探索其与商业分析可能的结合点。 3、目前所接触到的商业分析应用改善社会生活的案例。 $$