第7章 数据处理的基本手段-【千锋教育】Python快乐编程——数据分析与实战

第7章 数据处理的基本手段 合并数据集 数据清洗 数据标准化 数据类型的转换 合并数据集 数据清洗 数据标准化 数据类型的转换 目 录 CATALOUGUE 初心至善 匠心育人 01 02 04 03 掌握数据合并的方法 掌握数据类型转换的方法 掌握数据清洗的方法 掌握数据标准化的流程 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 获取数据的最终目的是在数据中提取有效的信息,为管理者提供更好的决策数据。在世界 500 强企业中,如 IBM 、微软、谷歌等知名公司均设有独立的数据分析部门。自 2018 年起,国内各行业甚至政府部门都在完善数据的利用率,加速了数据分析与大数据的高速发展。本章将从数据的合并、清洗、标准化、类型转换等方面对数据分析的常用手段进行讲解。 初心至善 匠心育人 7.1 合并数据集 初心至善 匠心育人 7.1 合并数据集 在数据处理过程中,经常会对数据进行合并。将若干分散的同类型数据集进行合并处理,就像环卫工人将来自不同街区分类的垃圾进行集中加工,如 A 街区的可循环利用的垃圾与 B 街区可循环利用的垃圾进行合并处理, A 街区的不可循环利用的垃圾与 B 街区不可循环利用的垃圾进行合并处理。 Pandas 提供了一些常用方法,用于不同情况下数据集合并的处理。具体方法如表所示。 初心至善 匠心育人 7.1.1 主键合并数据 根据主键合并数据是一种常见的数据合并形式,该合并方式将不同数据集中的数据项,根据相同或者不同的主键进行数据合并。 Pandas 提供了 merge ()函数用于数据合并,该函数的具体形式如下。 初心至善 匠心育人 7.1.1 主键合并数据 merge ()函数参数如表所示。 初心至善 匠心育人 7.1.1 主键合并数据 下面通过代码进行说明。 首先,导入使用的 pandas 库并为其起别名,然后定义两组测试数据 df _ 1 、 df _ 2 ,具体代码如下。 初心至善 匠心育人 7.1.1 主键合并数据 查看定义好的测试数据结果如下。 初心至善 匠心育人 7.1.1 主键合并数据 使用 pandas 提供的 merge ()函数进行直接合并,具体代码如下。 通过上述过程可以看出, merge ()函数隐式地合并数据。若开发者想要显式地合并数据,需要使用参数 on 指定键名称。上述结果与在 merge ()函数中添加参数 on="teacher"的运行结果是一样的(因为两组数据具有相同的列名称 teacher )。 初心至善 匠心育人 7.1.1 主键合并数据 Pandas 同样支持根据不同列名称进行合并。开发者只需要使用 left _ on 、 right _ on 参数进行指定即可。上述代码中虽然课程的名字是相同的,但是 01 班的课程和 02 班的课程是不同的。不能直接使用 on 进行数据合并,如果想要使两者进行合并,需要使用 left _ on 参数和 right _ on 参数,具体形式如下。 初心至善 匠心育人 7.1.1 主键合并数据 上述代码中指定 df _ 1 数据中的“数据分析 01 班课程”列与 df _ 2 参数中的“数据分析 02班课程”进行数据合并。 Pandas 允许开发者使用 how 参数设置数据合并的基本方式。how 参数默认情况下使用的是 inner 连接方式,该参数还可以接受“left ”“ right ”“ outer ”值。通俗地讲, inner 方式就是高中数学中的交集的概念;outer 对应的就是并集的概念;left 被称为左连接,表示以左侧数据键为主;right 使用的是右连接,表示以右侧数据键为主,具体代码如下。 初心至善 匠心育人 7.1.1 主键合并数据 初心至善 匠心育人 7.1.1 主键合并数据 上述代码结果中,price 后默认添加了“_ x ”与“_ y ”后缀,这是为了区别该字段来源于同数据集中,Pandas 人性化地设置了 suffixes 参数,该参数用来设置对应的后缀,具体代码如下。 注意:suffiexs 的参数个数应该与合并参数个数相同。如若不同,将会提示“ toomanyvaluestounpack ”的错误。 初心至善 匠心育人 7.1.2 轴向数据合并 轴向数据合并是数据处理中经常用到的另一种数据合并形式。该合并方式是数据沿指定数据轴堆叠数据的一种方式。具体如图所示。 初心至善 匠心育人 7.1.2 轴向数据合并 Pandas 中提供了 concat ()函数供开发者进行轴向数据合并操作,该函数具体如下。 concat ()函数参数如表所示。 初心至善 匠心育人 7.1.2 轴向数据合并 下面通过代码进行基本说明。 首先