2.1 数据采集(课件）《电子商务数据分析与应用》（中国劳动社会保障出版社）

项目二 电商数据的采集及处理 任务 1 数据采集 任务 2 电商数据可视化处理 62 任务 1 数据采集 任务目标 知识目标 1. 熟悉数据的采集过程 2. 掌握数据采集的原则 3. 掌握各类数据的采集渠道 能力目标 1. 能从网络中采集各种数据，并将其录入到 Excel 工作表中 2. 能使用生意参谋和八爪鱼采集器采集各种电商数据 63 任务 1 数据采集 一、数据采集的概念 数据采集也叫作数据获取，是指通过在平台源程序中预设工具或程序代码，获取商品状态变化、资金状态变化、流量状态变化、客户行为和信息等数据内容的过程，为后续进行数据分析提供数据准备。数据源是数据分析的基础，准确的数据源是管理者的决策保证。因此，数据采集的准确性直接关系到数据分析结果的价值。 在大数据环境下，电商平台中的数据是公开的、共享的。通过采集与整理，可以将大量离散的数据有目的地整合在一起，从而发现隐藏在数据背后的秘密。 64 任务 1 数据采集 二、数据采集的原则 在进行电子商务数据采集的过程中，只有及时、有效且准确的数据才能分析出对电子商务运营和决策有帮助的结果。 1. 及时性 进行数据采集时应尽可能地获取电子商务平台的最新数据。通过最新数据与往期数据的对比，才能更好地发现当前的问题并预测变化趋势。 2. 有效性 在数据采集过程中，需要注意数据期限的有效性。 65 任务 1 数据采集 3. 准确性 在数据分析过程中，不准确的数据会造成数据分析结果发生较大的偏差；而错误数据会导致截然相反的结论。因此，在进行数据采集时，必须确保所摘录的数据准确无误。 4. 计划性 采集的数据既要满足当前需要，又要反映未来的发展。因此，数据分析人员既要广辟信息来源，又要长期、持续进行数据采集，提升计划性。 5. 合法性 数据采集还需要注意合法性。 66 任务 1 数据采集 三、数据的采集渠道 1. 内部数据渠道 内部数据主要是指在电子商务项目运营过程中，电子商务站点、店铺自身所产生的数据信息，如站点的访客数、浏览量、收藏量，商品的订单数量、订单信息、加购数量等数据。这些内部数据可通过电子商务站点、店铺后台或类似生意参谋、京东商智等数据分析工具获取。对于独立站点流量数据还可使用百度统计、友盟等工具进行统计采集。 67 任务 1 数据采集 2. 外部数据渠道 在进行行业及竞争对手数据采集时，通常需要借助外部数据。在选择外部数据时，尤其需要注意的是数据的真实性和有效性。常用的外部数据渠道有以下几种。 （1）权威网站、数据机构 权威网站、数据机构发布的报告、白皮书等是分析行业及市场竞争情况的重要数据来源。常见的网站和数据机构有易观数据、艾瑞咨询等。下图所示为艾瑞咨询官网。这些平台提供的行业或行业龙头企业数据参考性较高，是重要的行业及企业数据采集渠道。 68 任务 1 数据采集 69 艾瑞咨询官网 任务 1 数据采集 （2）电子商务平台 电子商务平台聚集了众多行业的卖家和买家，它不仅是商品交易的场所，也是电子商务数据产生的重要来源。 （3）指数工具 如百度指数、360 趋势等工具依托平台海量客户行为数据，将相应的搜索数据趋势、需求图谱、客户画像等数据通过指数工具向用户公开。该类数据可为市场需求、客户需求和客户画像数据分析提供重要参考依据。 70 任务 1 数据采集 四、市场数据采集 市场数据分析的结果是决策者进行创投项目决策、制定发展战略的支撑和依据，而市场数据采集则是进行市场数据分析的前提，市场数据主要包括行业数据和竞争数据。 1. 行业数据采集 （1）行业发展数据采集 行业发展数据分析通常会涉及行业总销售额、增长率等数据指标。行业发展数据来源主要是国家统计局、行业协会、数据公司发布的行业统计数据、行业调查报告等。 71 任务 1 数据采集 （2）市场需求数据采集 市场需求数据分析通常会涉及需求量变化、品牌偏好等数据指标。除可以通过行业调查报告获取外，还可以通过对客户搜索指数的变化趋势分析来把握客户的需求变化和品牌偏好。下图所示为手机品牌客户偏好的百度搜索指数。 72 手机品牌客户偏好的百度搜索指数 任务 1 数据采集 2. 竞争数据采集 竞争数据是指在电子商务业务中彼此存在竞争关系的商家、品牌、商品等各项运营数据的总称。进行竞争数据采集时，通常需要采集竞争对手店铺的商品结构、商品构成、畅销商品、商品销量、交易额、销售价格、客单价、活动信息、活动内容、活动周期、商品评价、服务政策、店铺流量、推广渠道、搜索排名等数据。通过对以上竞争数据变化和规律的分析，运营者可以从中发现竞争对手的运维习惯、销售策略，从而制定更有针对性的营销方案、运营策略。 73 任务 1 数据采集 进行竞争数据采集可以借助一些工具，如采集淘宝、天猫平台的竞争对手数据可以采用八爪鱼采集器等数据采集工具。但由于平台规则不断变化，受规则限制，经常会遇到历史数据无法采集或采集异常的情况；竞争对手策划的营销活动内容，通常也无法使用数据采集工具来采集数据。因此，最有效的方法就是对竞争对手进行数据监控，制作竞争对手数据采集表，见下表。 74 任务 1 数据采集 75 竞争对手数据采集表 任务 1 数据采集 五、运营数据采集 运营数据通常包含客户数据、推广数据、销售数据等内容，具体采集内容视数据分析的目的而定。 1. 客户数据采集 客户数据采集是根据企业各部门对于客户数据的需求，通过可靠的数据源，采用合适的采集方式，获得客户的操作、行为、属性等数据信息，为后续的客户数据分析提供数据支持。 76 任务 1 数据采集 （1）客户数据采集指标 与客户相关的数据指标多种多样，常用于分析的数据指标可分为客户行为数据和客户画像数据。 （2）客户数据采集渠道 如果是电子商务独立站点，客户画像数据采集可以通过调用客户在网站注册资料中填写的相应信息内容来实现。而客户行为数据则可以采用百度统计、友盟等工具采集。 77 任务 1 数据采集 （3）数据采集表制作及数据采集 确定了数据采集指标及采集渠道后，数据采集人员应根据数据采集指标建立客户信息采集表，见下表。 78 客户信息采集表 任务 1 数据采集 2. 推广数据采集 对推广数据进行有效分析，可以帮助企业找到店铺推广中的优势与不足，从而优化调整相关推广策略和内容，提升推广效果。 （1）推广数据采集指标 店铺推广的核心目标是销售商品。店铺推广的方式千差万别，不同的推广方式往往有不同的侧重点。 （2）推广数据采集渠道及采集 在电子商务平台中，推广工具通常都会提供相应的数据报表。所以，可通过所使用的推广工具进行数据报表下载并整理摘录推广数据。 79 任务 1 数据采集 3. 销售数据采集 在店铺运营过程中会产生大量的销售数据，通过对前期的销售数据和市场变化分析，可以帮助企业更好地制定销售目标、调整销售策略。 （1）销售数据采集指标 店铺销售数据分析的核心指标分别是订单量、销售额、成交量等交易数据和响应时长、咨询客户数、询单转化率等服务数据。 （2）销售数据采集实施 销售数据采集前，应先根据交易数据采集需求及所分析出的指标制作店铺销售数据采集表，见下表。 80 任务 1 数据采集 81 店铺销售数据采集表 任务 1 数据采集 六、商品数据采集 商品数据是电商经营的重要数据。通过对商品的分析可以有效发掘客户需求，优化店铺商品结构，提升客户黏性、客单价、销售利润等。 1. 商品行业数据采集 采集商品行业数据的目的是了解该商品的市场需求变化情况。常用的数据采集指标包括商品搜索指数和商品交易指数两项。 82 任务 1 数据采集 （1）商品搜索指数采集 商品搜索指数是对客户搜索相关商品关键词热度的数据化体现，反映了客户对商品的关注度和兴趣度。 83 通过百度指数搜索商品关键词“连衣裙” 任务 1 数据采集 （2）商品交易指数采集 商品交易指数是商品在平台交易热度的体现，是衡量店铺、商品受欢迎程度的一个重要指标。即商品交易指数越高，该商品越受消费者欢迎。 84 行业趋势 任务 1 数据采集 2. 商品能力数据采集 商品能力数据分为商品获客能力数据和商品盈利能力数据两类。 （1）商品获客能力数据采集 商品获客能力是指商品为店铺或平台获取新客户的能力，其主要指标包括客户关注量、收藏量、客户注册量、新客户点击量和重复购买率等。 该类数据一般通过站点后台或第三方工具获取。通常情况下，站点后台或第三方工具会在运营过程中持续对访客的浏览路径进行跟踪，对访客关注产品、网站（店铺）收藏、网站注册等重点行为进行记录，进而生成相应的数据报表，并提供文本或 Excel 表格导出。 85 任务 1 数据采集 （2）商品盈利能力数据采集 商品盈利能力是指商品为店铺销售或利润贡献的能力，其主要指标包括客单价、毛利率、成本费用利润率等。该类数据一般无法直接获取，需要通过公式计算。商品盈利能力数据的采集分为以下 3 个步骤。 第一步，分析拆解数据采集指标。 第二步，确定数据采集渠道。 第三步，数据采集。 86 任务 1 数据采集 谢 谢 Thanks 87 任务 1 数据采集 $$