第11章 数据分析案例——就业分析-【千锋教育】Python快乐编程——数据分析与实战

第11章 数据分析案例——就业分析 项目案例分析 数据获取 数据处理 数据分析 项目案例分析 数据获取 数据处理 数据分析 目 录 CATALOUGUE 初心至善 匠心育人 01 02 04 03 熟悉数据分析的基本流程 掌握项目案例分析 掌握数据处理的基本方法 掌握常用的图表分析 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 11.3 数据处理 初心至善 匠心育人 前 10 章讲述了数据分析中常用工具的使用，本章旨在巩固读者对前面所学工具的运用，通过分析实际案例加深理解。 初心至善 匠心育人 11.1 项目案例分析 本章项目主要分析千锋教育某月学生的就业数据,通过对就业数据的分析得出相关结论,用于推断近期就业形势并对千锋教育课程做出相关反馈。 为了让管理者更好地了解 2019 年 6 月的就业数据,数据分析师将对就业数据中的就业城市分布、就业曲线、状态、就业薪资与学历关系做出基本的数据分析。 1.就业城市分布 就业城市分布是对学生的就业城市分布的相关统计。从城市分布可以看出不同城市的人才需求。 2.就业曲线 就业曲线为该月中每天的就业人数绘制出的就业走势图。通过该图可以推断看出对应的就业规律。 初心至善 匠心育人 11.1 项目案例分析 3.状态 就业学生状态指的是学生在千锋学习时的就业状态。通过对就业状态的分析,企业可以看出不同状态学生的就业形势。 4.就业薪资与学历关系 就业薪资与学历关系能够反映不同学历的学生之间的就业差距。企业可以参考该数据对生源适当调整。 初心至善 匠心育人 11.2 数据获取 本章项目的数据来源于千锋官网的就业信息,通过爬虫技术获取千锋官网的就业数据。千锋教育官网如图所示。 初心至善 匠心育人 11.2 数据获取 通过单击“就业喜报”按钮跳转到千锋就业信息页面,具体如图所示。在该界面中分为学科分类就业信息栏(如图所示)和月份分类就业信息栏(如图所示)两大块。本书数据来源于按月划分的信息栏。 初心至善 匠心育人 11.2 数据获取 初心至善 匠心育人 11.2 数据获取 通过 F12 键调用浏览器控制台,查看数据加载的形式,如图所示。 初心至善 匠心育人 11.2 数据获取 为了便于观察数据加载形式,需要单击浏览器控制台的 Clear 按钮,清空控制台加载的数据。清空后的控制台具体形式如图所示。 初心至善 匠心育人 11.2 数据获取 由于千锋界面默认显示最新数据,所以只需要单击“六月”即可,单击后观察控制台变化,可以加载 xhr 文件的控制台,具体如图所示。 初心至善 匠心育人 11.2 数据获取 单击 Name 栏数据下的文件,查看数据加载详情,如图所示。 初心至善 匠心育人 11.2 数据获取 通过上述方式查看数据详情,可以看出数据的获取链接、服务器地址和响应端口。然后单击 Preview 按钮进行数据预览,如图所示。 初心至善 匠心育人 11.2 数据获取 单击数据中的 student 将数据展开,如图所示。 初心至善 匠心育人 11.2 数据获取 获取数据源并保存到 data.json 文件中,具体过程如下。 首先,导入需要使用的 requests 库,用于向千锋服务器发送 HTTP 请求,具体代码如下。 然后,将获取的数据源链接赋值给 url ,为请求数据做准备,具体代码如下。 最后,将获取的数据解码后存入 data.json 文件,至此数据源获取并保存完成。 初心至善 匠心育人 11.2 数据获取 上述代码将 decode 设置为 unicode _ escape 参数,目的是将数据源中的 unicode 字符反编码,主要是针对其中的汉字进行处理。使用浏览器打开 data.josn ,具体数据如图所示。 初心至善 匠心育人 11.2 数据获取 通过观察该数据可以看出,data.josn 数据中包括最高薪资、平均薪资、就业率、就业条数、优秀薪资比率、学生信息。学生信息又包括班级、姓名、学历、状态、专业、就业薪资、就业城市、公司名称、就业日期。如果通过浏览器不方便查看的话可以使用名字为“JSON-handle ”的 Google Chrome 插件进行查看,如图 所示。 初心至善 匠心育人 11.3 数据处理 本节讲述对数据源的处理,主要包括相关数据类型的转换、去除重复值和缺失值处理三个方面。 初心至善 匠心育人 11.3.1 数据类型的转换 数据下载完成后,需要将数据转换成分析所需的数据形式,以供数据处理。对于千锋教育就业信息的数据转换,主要是将数据从源数据中抽取出来进行数据类型的转换。 首先,使用 Pandas 读取之前爬取的数据,具体代码如下。 注意：使用 Pandas 读取