第1章 数据分析概述-【千锋教育】Python快乐编程——数据分析与实战

第1章 数据分析概述 初步认识数据分析 数据分析的基本流程 Python数据分析的工具 Jupyter Notebook的基本使用 初步认识数据分析 数据分析的基本流程 Python数据分析的工具 Jupyter Notebook的基本使用 目 录 CATALOUGUE 初心至善 匠心育人 01 02 04 03 了解数据分析的概念 掌握Python数据分析环境的安装 了解数据分析的分类 了解数据分析的流程 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 自1994年我国正式接入互联网后，国内的互联网行业蓬勃发展，在网络中不断传递数据、共享数据。近期人工智能的兴起，又成为了新一代互联网革命的开始。其中值得注意的是所有技术发展的前提都是要有足够价值的数据作为基础。随着网民活动的增强，网络数据也就越来越多，为了分析这些数据，出现了数据分析师的职位。本章将介绍数据分析基本知识，为步入数据分析领域的读者提供基础知识。 初心至善 匠心育人 1.1 初步认识数据分析 在实际生产过程中会有大量的数据累积，为了提取数据中有价值的信息，通常会使用数据分析技术，提取其中有价值的信息。数据分析指通过一定的分析方法加工数据从而得到有价值信息的过程。例如，腾讯QQ(以下简称QQ)有一项功能，通过分析QQ账号通讯列表中的好友互动频次，可以得到好友亲密度的特征值，通过此值可以大致判断此QQ账号交流频繁的QQ好友。 随着互联网与大众生活、生产的粘合度越来越高，互联网中数据不断叠加，数据分析越来重要，在很多企业中设立了数据分析的岗位——数据分析师。 初心至善 匠心育人 1.1 初步认识数据分析 企业需要数据分析师为公司描述用户画像以完善对应产品，使开发过程形成一个闭环，数据分析具体过程如图所示。 初心至善 匠心育人 1.1 初步认识数据分析 接下来简单介绍数据分析师职位的主要技能。 数据分析师应该具有计算机科学的基本知识，能够使用计算机进行数据加工；还应具有基本的统计学知识，在生产中数据分析师手中的数据源一般是研究问题周边化的数据，要想对研究的问题进行分析，都需要利用数学知识进行数据的概率化操作，数学知识是一名数据分析师的必备知识。另外，作为对应行业的数据分析师，还应具备从事对应行业的专业知识。 初心至善 匠心育人 1.2 数据分析的基本流程 数据分析的基本流程如图所示，包括需求分析、数据获取、数据预处理、分析建模、模型评价与优化、项目部署。 需求分析是实际中项目开发中的第一步，是分析问题、拆分问题的过程，通过需求分析能够让问题具体化，使开发者明确实现目标的每一步。在生活中解决问题基本步骤也类似，例如，小千同学想买一部新手机，首先会进行问题分析，明确手机的品牌、型号、配置、预算、应用场景，经过对问题的具体分析后做出最后的决定。 初心至善 匠心育人 1.2 数据分析的基本流程 数据获取是数据分析过程中最早接触数据的步骤，此步骤通过一些基本手段获取数据，数据分析师一般还可以承担部分爬虫工程师的工作，目前市场上比较抢手的爬虫工程师同时要具备数据分析的基本能力。数据分析师可以使用爬虫技术进行数据实时抓取，确保数据的有效性。对于一些实时性要求不高的数据，开发者可以进行通过文件导入的方式获取，一般使用txt文本文件、excel文件、cvs文件、json格式等，这些都是数据分析中常用的文件格式。 数据预处理是数据分析过程中重要的一步，数据预处理的好坏，关系到分析建模效率。数据预处理过程可以大致分为数据合并、数据清洗、数据变换、数据标准化四个基本步骤。数据合并能够将数据进行简单归类，为分析数据创建好数据分类集；数据清洗可以将数据中缺陷、错误数据等问题处理掉，最大程度的加大数据分析结果的准确度。数据变换可以将数据进行加工成建模时需要的形式，为数据建模做准备。通常数据标准化和数据变换作为同一步骤执行。 初心至善 匠心育人 1.2 数据分析的基本流程 分析建模是数据分析的核心部分，通过模型可以研究数据中客观事物的规律，而模型就是这种规律的抽象，数据分析师可以通过异常值分析、对比分析、结构分析、分布分析等一系列分析方法将数据中的有用信息提取出来，最终进行相应的数据处理。 模型评价与优化则是对建立的模型的整体评估，可以通过一些基本指标进行模型评价，常用的分类模型指标有准确率、召回率、精准率、F1值（F1 value）等。不过对大多数回归模型的指标一般使用标准差、方差、均方差。模型优化要在实际生产中检测，如果模型开发不合理，就需要进行调参，甚至重构。 项目部署是指将数据分析的模型转换成代码，应用于项目实际开发。 初心至善 匠心育人 1.3 Python数据分析工具 专业的数据分析师，通常使用R语言和Python语言进行混合编程，使用MATLAB进行建模分