第二章 数据采集（课件）《商务数据分析基础与应用》（上海交通大学出版社）

第2章 数据采集 数据采集是电子商务数据分析的基础，电子商务数据分析的后续所有工作内容均围绕这一环节所采集的数据展开。 目录contents 01 数据采集认知：概念，原则 02 数据采集方法与步骤 03 数据采集的渠道及工具 04 数据采集excel数据处理技巧 Part / 01 数据采集认知：概念，原则 数据采集的目的是为满足商务数据分析的后续任务需求（基于具体业务需求，例如数据展示，流量分析，销售量分析等）也必须满足其原则即：及时性，有效性，准确性，合法性。 1.1 数据采集概念 电子商务数据分析的后续工作内容均围绕数据采集这一环节所采集的数据展开 ● 电子商务数据分析基础 对多种多样的数据（例如消费者交易，基本信息，评论信息，位置信息，社交信息等）进行有效采集和整理，才能有效的为电子商务数据分析的后续工作提供有效的支撑。 ● 多态数据采集和整理 数据采集是为了满足电子商务数据分析的后续工作，其本质是满足电子商务数据分析的后续工作数据应用需求，即明确业务需求（电子商务数据分析的后续工作）数据类型和目标。 ● 数据采集本质 1.2 数据采集的原则 01 及时性 03 准确性 02 有效性 04 合法性 Part / 02 数据采集的方法与步骤 根据业务不同，有着多样的数据采集需求，为了满足业务需求数据采集的方法也是多种多样的。 2.1 数据采集的方法 基于电子商务平台上的一些数据（例如携程，淘宝，京东，生意参谋，京东商智等），例如商品属性（商品标题，品牌，价格等），可以直接进行采集（基于人肉爬取），也可以使用火车采集器，八爪鱼采集器等爬虫采集工具进行大批量自动化采集。 ● 网页数据采集 携程旅游商品采集 2.1 数据采集的方法 基于电子商务平台上的一些数据（例如携程，淘宝，京东，生意参谋，京东商智等），例如商品属性（商品标题，品牌，价格等），可以直接进行采集（基于人肉爬取），也可以使用火车采集器，八爪鱼采集器等爬虫采集工具进行大批量自动化采集。 ● 网页数据采集 淘宝（飞猪）旅游商品采集 2.1 数据采集的方法 爬取飞猪和携程上面20~25条旅游路线的相关信息，信息包含如下字段 ● 实践任务 路线名称 产品卖点 行程 价格 宣传图像 三亚+亚特兰蒂斯5日自由行 ★ 人气亲子海岛假期！更多住法详见下方产品特色！亚特兰蒂斯享自由行特价！更享每成人立减200元！ ★ 前2晚自由行热卖酒店随心配！推荐天域·红树林·威斯汀·美高梅·喜来登·希尔顿·艾迪逊等！ ★ 后2晚必打卡游乐园——网红亚特兰蒂斯！可无限次畅玩水世界水族馆！具体礼遇见房型礼包！ 第1天 【自由行仅参考】抵达三亚+入住第1家酒店 第2天 【推荐自由活动】宅在酒店悠享假期 / 游玩南山文化旅游区（打卡海上观音） 第3天 前往海棠湾+入住第2家亚特兰蒂斯 第4天 【推荐自由活动】宅玩亚特兰蒂斯度假区+cdf免税城+海昌不夜城 第5天 三亚-返程 3136 https://dimg04.c-ctrip.com/images/200h0w000000k9bgi5EBB_D_769_510_Q100.jpg https://dimg04.c-ctrip.com/images/200u0w000000k5sg77314_D_769_510_Q100.jpg 。。。。 2.1 数据采集的方法 爬取飞猪和携程上面10~15条旅游路线的相关信息，信息包含如下字段 ● 实践任务：15~20分钟 2.1 数据采集的方法 基于电子商务平台上的一些数据（例如携程，淘宝，京东，生意参谋，京东商智等），例如商品属性（商品标题，品牌，价格等），可以直接进行采集（基于人肉爬取），也可以使用火车采集器，八爪鱼采集器等爬虫采集工具进行大批量自动化采集。 ● 网页数据采集 生意参谋（店铺）数据采集 2.1 数据采集的方法 基于电子商务平台上的一些数据（例如携程，淘宝，京东，生意参谋，京东商智等），例如商品属性（商品标题，品牌，价格等），可以直接进行采集（基于人肉爬取），也可以使用火车采集器，八爪鱼采集器等爬虫采集工具进行大批量自动化采集。 ● 网页数据采集 京东商智（店铺）数据采集 2.1 数据采集的方法 基于电子商务平台上的一些数据（例如携程，淘宝，京东，生意参谋，京东商智等），例如商品属性（商品标题，品牌，价格等），可以直接进行采集（基于人肉爬取），也可以使用火车采集器，八爪鱼采集器等爬虫采集工具进行大批量自动化采集。 ● 网页数据采集 八爪鱼数据采集 2.1 数据采集的方法 ● 实践任务1：基于模板采集网页数据 八爪鱼数据采集 2.1 数据采集的方法 ● 实践任务1：基于模板采集网页数据 八爪鱼数据采集 2.1 数据采集的方法 ● 实践任务1：基于模板采集网页数据 八爪鱼数据采集 2.1 数据采集的方法 ● 实践任务1：基于模板采集网页数据 八爪鱼数据采集 2.1 数据采集的方法 ● 实践任务1：基于模板采集网页数据 八爪鱼数据采集 2.1 数据采集的方法 ● 实践任务1：基于模板采集网页数据 使用八爪鱼提供的免费模板来完成5~10个网页数据采集实践（10~15分钟） 2.1 数据采集的方法 ● 实践任务2：基于自定义模式采集网页数据 由于不同任务性质，导致采集的数据需要根据自定义模式来处理 2.1 数据采集的方法 ● 实践任务2：基于自定义模式采集网页数据 基于智能识别采集网页数据 2.1 数据采集的方法 ● 实践任务2：基于自定义模式采集网页数据 基于智能识别采集网页数据 2.1 数据采集的方法 ● 实践任务2：基于自定义模式采集网页数据 基于智能识别采集网页数据 2.1 数据采集的方法 ● 实践任务2：基于自定义模式采集网页数据 基于智能识别采集网页数据 2.1 数据采集的方法 ● 实践任务2：基于自定义模式采集网页数据 使用八爪鱼提供的智能识别来完成5~10个网页数据采集实践（10~15分钟） 例子：https://you.ctrip.com/place/hangzhou14.html 2.1 数据采集的方法 对网站日志记录的数据（例如访问IP地址，访问时间，访问次数等），通过对这些日志数据进行分类和采集。 ● 系统日志数据采集 对电子商务平台自身的数据库所包含的相关数据（包含客户信息，交易信息等业务数据）进行分类采集。 ● 数据库采集 由于自身网站没有统计功能，通过第三方统计api或者统计表报的方式来进行数采集 ● 表报采集 第三方收集平台或者自研数据采集平台 https://www.kaolamedia.com/#%E6%8A%96%E9%9F%B3%E6%95%B0%E6%8D%AE 2.1 数据采集的方法 通过业务人员和数据采集人员来设计具有针对性的问卷，采用实际走访，电话沟通，网络填表等方式进行信息采集。 ● 调查问卷采集 调查问卷移动端 2.2 数据采集的步骤 明确数据采集指标范围和时间范围 明确数据采集途径和部门 明确参与部门和人员 ● 明确采集范围即人员分工 建立数据指标规范，明确数据指标定义，使其成为对数据的唯一标识 ● 建立必要的数据指标规范，并完成数据采集 完整性检查：检查每个记录数据完整性 准确性检查：检查是否有数据采集错误现象发生 规范性检查：检查数据字段规范 ● 数据检查 2.2 数据采集的方法 ● 实践任务3：基于自定义模式采集网页数据 使用八爪鱼提供的交互识别文本内容来完成5~10个网页数据采集实践（10~15分钟） 例子：https://vacations.ctrip.com/travel/detail/p8314400/?city=17 2.2 数据采集的方法 ● 实践任务4：基于自定义模式采集网页数据 使用八爪鱼提供的交互循环识别图像链接来完成5~10个网页数据采集实践（10~15分钟） 例子：https://www.mafengwo.cn/i/24332116.html 2.2 数据采集的方法 ● 实践任务5：基于自定义模式采集网页数据 使用八爪鱼提供的交互混合(根据目的包含识别及循环)来完成5~10个网页数据采集实践（10~15分钟） 例子：https://vacations.ctrip.com/travel/detail/p8314400/?city=17 Part / 03 数据采集的渠道及工具 数据采集的主要渠道 数据采集常用工具 3.1 数据的主要来源渠道 电子商务站点 店铺后台 生意参谋 京东商智 百度统计 友盟 ● 内部数据 3.1 数据的主要来源渠道 政府部门，行业协会，新闻媒体，出版社等 权威网站，数据机构 电子商务平台 指数工具 ● 外部数据 3.2 数据采集常用工具 生意参谋 店侦探 ● 私域类型 淘数据 京东商智 ● 公域类型 八爪鱼采集器 火车采集器 ● 爬虫类型 Part / 04 数据采集excel数据处理技巧 常见的数据类型 excel数据采集处理技巧 快速数据采集处理技巧 4.1 常见数据类型 ● 数值 ● 文本 ● 日期和时间 ● 逻辑 4.1 excel数据采集技巧 ● 采集数值 ● 采集文本 ● 采集日期和时间 4.1 快速数据采集技巧 ● 自动填充数据 ● 从下拉列表选择菜单中选则数据 ● 使用数据验证采集数据 $$