5 数据导入与预处理（教案）《电子商务数据分析》（电子工业出版社）

项目五 数据导入与预处理 “电子商务数据分析与应用”课程混合式教学方案 （课前）BlackBoard系统 + （课中）理论授课 + （课后）雨课堂测试 课程名称：电子商务数据分析与应用 任课教师：屈莉莉 开课单位：航运经济与管理学院 教学对象：电子商务专业2022级 章节名称：项目五 数据导入与预处理 教学目标： 1 知识目标 · 了解并掌握数据在Excel中的导入、导出操作 · 掌握用Excel进行基本的数据处理操作 · 重点掌握数据预处理操作中的数据清理及数据规范化 2 能力目标 · 运用Excel进行数据的导入、导出操作 · 熟练掌握数据清理的方法 · 能够进行数据规范化的计算 3 素质目标 · 了解数据导入与预处理的重要性与作用 · 培养使用数据导入与预处理的熟练度 教学安排： 教学环节 教 学 内 容 教学工具 （1）课堂教学 OFFICE工具； （2）雨课堂：实施反馈与课后测试 教学任务 （一）课前自学 1. 数据的导入导出 2. 数据预处理方法 （二）课中实训 实训一、数据的导入与导出 实训二、数据预处理 实训三、数据的基本处理操作 （三）课后提升 案例1 数据预处理在网络社区数据分析中的应用 案例2 数据预处理专项应用 思维导图 内容引入 通过案例进行本章内容的导入。 随着大数据和人工智能的快速发展，当今的消费者与世界高度相连，一个公司想要获得更好的商业成绩需要通过大数据为他的每个客户做出个性化的精准服务。为此2013年，拥有145年历史的大都会人寿保险公司建立了名为MetLift Wall的新系统，该系统从大都会人寿70多个不同的管理系统中收集大量的信息数据，这些数据之前有许多都是不联网的独立存在，存在着大量的数据冗余，建立系统后又经过多年的努力大都会人寿成功解决了该项问题。 上文所汇总的数据刚开始很难进行使用，在大数据分析之前我们需要确保这些分析数据满足分析模型的需求，因此数据预处理环节十分重要，它可以将缺失的数据补充，冗余的数据变得简洁，复杂混乱的数据格式统一。你听说过数据预处理吗？继续阅读本章你可以对数据预处理拥有更深刻的了解。 授新环节 （一）课前自学 1. 数据的导入导出 数据的导入导出作用：起到备份、存档的作用；转换为需要的数据格式和文件类型。 数据导入导出分类：数据库文件导出成文本文件；文本文件导入成数据库文件；数据库文件与数据库文件之间的导入导出。 2. 数据预处理方法 数据预处理就是根据数据分析的目的，将收集到的原始数据用适当的处理工具（如Excel）进行整理加工，转换成正确的格式，以便满足数据分析模型对数据的要求。 （1）数据清理 数据清理是数据准备过程中最花费时间、最乏味的，但也是最重要的一步。该步骤可以有效的减少学习过程中可能出现的相互矛盾的情况。 （2）数据融合 通过数据融合（信息融合）产生比单一信息源更准确、更完全、更可靠的数据进行估计和判断，然后存入数据仓库或数据挖掘模块中。 （3）数据变换 数据变换是采用线性或非线性的数学变换方法将多维数据压缩成较少维数的数据，消除它们在时间、空间、属性及精度等特征表现方面的差异。 （4）数据规约 数据经过去噪处理后，需根据相关要求对数据的属性进行相应处理。数据规约就是在减少数据存储空间的同时尽可能保证数据的完整性，以获得比原始数据小得多的数据，并将数据以合乎要求的方式表示。 （二）课中实训 实训一、数据的导入与导出 1. 数据导入 可以将收集到的数据直接填写在Excel的单元格中，也可以将多种格式的数据文件导入到Excel工作表中。 5.1.2 数据导出 将Excel数据导出到其他操作软件中。 实训二、数据预处理 某price属性值排序后为2，4，6，6，9，12，12，14，19，则采用各种分箱方法进行处理的结果如表5.4所示。 表5.4 分箱处理的结果示例 首先，划分为等深箱 箱1：2，4，6 箱2：6，9，12 箱3：12，14，19 按箱平均值平滑 箱1：4，4，4 箱2：9，9，9 箱3：15，15，15 按箱中值平滑 箱1：4，4，4 箱2：9，9，9 箱3：14，14，14 按箱边界值平滑 箱1：2，2，6 箱2：6，6，12 箱3：12，12，19 实训三、数据的基本处理操作 1. 重复数据处理 采集得到的原始数据通常存在重复情形，对于重复数据如何识别和去重，通过Excel介绍两种常用的方法：（1）高级筛选法；（2）条件格式法。 2. 缺失数据处理 Excel表中如果出现缺失数据，一般表示为空值或者错误表示符，运用“定位条件”功能可以进行缺失数据的处理。 3. 错误数据处理 使用Excel能够控制和检查数据统计中存在的错误。 （三）课后提升 案例1 数据预处理在网络社区数据分析中的应用 案例2 数据预处理专项应用 内容小结 本章主要学习运用Excel进行数据的导入导出操作，对重复、缺失、错误数据的基本处理操作。 从数据的清理、数据的融合、数据的变换以及数据的规约四个方面，学习了数据的预处理操作。 通过本章的学习，旨在掌握利用Excel处理数据的基本方法以及了解数据预处理的基本操作。 课后作业 1.判断题 （1）数据预处理的目的是提高数据质量。 （2）数据规约是采用线性或非线性的数学变换方法将多维数据压缩成较少维数的数据。 （3）在数据规约方法中，分箱技术是数值压缩的具体方法。 2.单选题 （1）（ ）就是在减少数据存储空间的同时尽可能保证数据的完整性，以获得比原始 数据小得多的数据，并将数据以合乎要求的方式表示。 A．数据清理 B．数据融合 C．数据变换 D．数据规约 （2）在数据变换方法中，以下哪个是数据平滑的作用（ ）。 A．数据汇总 B．去噪 C．减少数据复杂化 D．构造新的属性 （3）对于2，3，4，5这组数据，运用最小-最大标准化处理后，数据4转换为（ ）。 A．0 B．0.33 C．0.67 D．1 3.多选题 （1）分箱技术作为一种局部数据平滑方法，主要包括（ ）平滑方法。 A．箱平均值 B．箱中值 C．箱边界值 D．箱中心值 （2）补充缺失数据的主要办法包括（ ）。 A．线性差值法 B．平均值填充 C．回归方法 D．忽略该数据元组 （3）数据变换方法包括（ ）。 A．数据平滑 B．数据聚集 C．数据概化 D．数据规范化 （4）数据规范化方法包括（ ）。 A．最小-最大 B．对数转换 C．反正切函数转化 D．z-score标准化 4.简答题 （1）简述常见的数据变换方法。 （2）数据融合的方法有哪些？ （3）简述常见的数据规约方法。 （4）数据概化对数据分析的作用有哪些？ 教学总结 （1）从课程思政的角度： 电子商务数据分析与思政教育紧密结合。 （2）从知识体系的角度： Excel是开展数据分析的一种重要工具。掌握多种来源的数据文件与Excel之间的导入导出功能。更重要的是，如果数据本身存在噪声、错误、缺失等均会对后续的模型精度和准确性造成影响。因此，数据预处理是开展数据分析的必要步骤。 （3）从能力培养的角度： 综合运用数学、计算机、信息科学知识，培养全方位高素质人才。为培养数据分析方面的专业人才，提供专业知识。 效果评估 （1）通过理论课堂教学，进行师生互动，在课程讲授过程中，实时发布测试题目和课堂提问，掌握学习效果； （2）通过课程微信群，了解学生的学习动态并及时发布课程测试题目； （3）通过雨课堂发布测试题，评估学生学习效果，并记录到平时成绩之中。 （4）本章可安排上机实验学习，对Excel的导入导出、数据预处理的具体操作展开实践教学。 学科网（北京）股份有限公司 $$