4.2 大数据处理（分层作业）-【上好课】高中信息技术必修1数据与计算同步高效课堂（浙教版2019）

4.2大数据处理（分层作业） 【基础达标】 1.在大数据存储中，采用（ ）存储方式能够提供高可用性和容错性。 A. 本地文件系统存储 B. 分布式存储 C. 批量存储 D. 移动存储 2.在 Hadoop 生态系统中，（ ）是分布式文件系统。 A. HDFS B. MapReduce C. YARN D. Hive Metastore 3.Hadoop 的核心组件是（ ）。 A. HDFS 和 MapReduce B. Hive 和 Pig C. YARN 和 Spark D. Flume 和 Sqoop 4.在 Python 中常用于数据可视化的库是（ ） A. Matplotlib B. Numpy C. Pandas D. Scikit - learn 5.在进行大数据文本情感分析时，（ ）可以用来衡量文本的情感倾向是积极还是消极。 A. 准确率（Accuracy） B. 召回率（Recall） C. 情感极性（Sentiment polarity） D. 均方误差（MSE） 6.在大数据文本挖掘中，关联规则挖掘的主要目的是（ ）。 A. 发现文本中单词之间的关联关系，如哪些单词经常一起出现 B. 对文本进行分类 C. 计算文本的情感倾向 D. 提取文本的主题 【巩固提升】 7.在大数据清洗中，（ ）操作主要用于处理缺失值。 A. 数据标准化 B. 数据插补 C. 数据编码 D. 数据采样 8.以下哪种方法可以用于提高大数据文本情感分析的准确性？（ ） A. 增加训练数据量 B. 降低文本预处理的程度 C. 只使用简单的单词频次统计作为特征 D. 不考虑文本中的否定词 9.在大数据文本挖掘中，关联规则挖掘的主要目的是（ ）。 A. 发现文本中单词之间的关联关系，如哪些单词经常一起出现 B. 对文本进行分类 C. 计算文本的情感倾向 D. 提取文本的主题 【链接高考】 10. 根据材料，回答下列问题： 某电商公司拥有海量的用户交易数据。在 2023 年 “双十一” 期间，公司收集到了超过 10 亿条用户购物记录，包括用户 ID、购买商品、购买时间、购买金额等信息。公司希望通过对这些数据的分析，更好地了解用户行为，提高销售业绩。 （1） 请简述大数据处理的一般流程。 （2）为了更好分析用户行为，便于公司作出更科学的决策，公司从哪些方面入手进行数据分析？ 参考答案 【基础达标】 1.正确答案：B。 答案解析：分布式存储（如 HDFS）通过将数据分布在多个节点上，并采用数据冗余（如副本机制）来提供高可用性和容错性。本地文件系统存储如果节点出现故障，数据容易丢失；内存存储主要用于临时数据存储和快速访问，且容量有限；移动存储不适合大数据的高可用和容错要求。 2.正确答案：A。 答案解析：HDFS 是分布式文件系统；MapReduce 是用于数据处理的编程模型；YARN 是资源管理框架;Hive Metastore 用于管理 Hive（Hadoop 生态系统中的数据仓库工具）的元数据，包括表的定义、列信息等。 3.正确答案：A。 答案解析：Hadoop 的核心组件是 HDFS（分布式文件系统）用于数据存储，MapReduce 用于大规模数据的并行处理。Hive 和 Pig 是数据仓库和数据处理工具；YARN 是资源管理框架，Spark 是另一种数据处理框架；Flume 用于日志收集，Sqoop 用于数据导入导出。 4.正确答案：A。 答案解析：Matplotlib 是 Python 中常用的数据可视化库，用于创建各种类型的图表。Numpy 主要用于数值计算；Pandas 主要用于数据处理和分析；Scikit - learn 主要用于机器学习。 5. 正确答案：C。 答案解析：情感极性是专门用于衡量文本情感倾向的指标，它可以取值为正（表示积极情感）、负（表 示消极情感）或中性。准确率和召回率主要用于评估分类模型的性能，比如在文本分类任务中评估分类 的准确程度和召回被正确分类的样本比例；均方误差主要用于评估预测值与真实值之间的差异，通常在 回归任务中使用，不适用于衡量情感倾向。 6.正确答案：A。 答案解析：关联规则挖掘在大数据文本挖掘中的主要目的就是发现文本中单词之间的关联关系，通过分析大量文本数据，找出哪些单词经常一起出现等规律。对文本进行分类是文本分类任务的目的；计算文本的情感倾向是情感分析的任务；提取文本的主题是主题模型等方法的任务。 【巩固提升】 7.正确答案：B。 答案解析：数据插补是用于处理缺失值的常见操作，例如使用均值、中位数或其他统计量来填充缺失的值。数据标准化主要用于将数据的特征缩放到同一范围；数据编码用于将分类数据转换为计算机可处理的形式；数据采样用于减少数据量或平衡数据集。 8. 正确答案：A。 答案解析：增加训练数据量通常可以让情感分析模型学习到更多的文本模式和情感表达，从而提高模型的准确性。降低文本预处理的程度可能会导致数据质量下降，影响分析结果；只使用简单的单词频次统计作为特征相对比较单一，不能充分挖掘文本的情感信息；不考虑文本中的否定词会严重影响对情感倾向的正确判断，因为否定词往往会改变文本的情感含义。 9.正确答案：A。 答案解析：关联规则挖掘在大数据文本挖掘中的主要目的就是发现文本中单词之间的关联关系，通过分析大量文本数据，找出哪些单词经常一起出现等规律。对文本进行分类是文本分类任务的目的；计算文本的情感倾向是情感分析的任务；提取文本的主题是主题模型等方法的任务。 【链接高考】 10. （1）大数据处理的一般流程如下： 数据采集：从各种数据源（如数据库、日志文件、传感器等）收集数据。在本题中，电商公司从用户购物记录中采集数据。 数据存储：将采集到的数据存储在合适的存储系统中，如 Hadoop 分布式文件系统（HDFS）、NoSQL 数据库等。 数据处理：对存储的数据进行清洗、转换和分析。这可能包括去除噪声数据、填补缺失值、进行数据聚合等操作。 数据分析：使用数据分析工具和技术，如数据挖掘、机器学习、统计分析等，从处理后的数据中提取有价值的信息。 结果可视化：将分析结果以直观的方式呈现给决策者，如通过图表、报表等形式。 （2）为了分析用户行为，公司可以从以下几个方面入手： （1）用户购买历史：分析用户过去购买的商品种类、频率、金额等，了解用户的消费习惯。 （2）商品关联分析：通过分析用户同时购买的商品，发现商品之间的关联关系，为推荐系统提供依据。 （3）时间维度分析：分析用户在不同时间段的购买行为，如节假日、促销活动期间等，了解用户的购买时间偏好。 （3）用户行为路径分析：跟踪用户在网站上的浏览和购买路径，了解用户的决策过程。 原创精品资源学科网独家享有版权，侵权必究！ 学科网（北京）股份有限公司 学科网（北京）股份有限公司 $$