5.2 数据的采集 课件 2026-2027学年粤教版 高中信息技术必修一

| 30页
| 62人阅读
| 0人下载
普通

内容正文:

高中信息技术 必修1《数据与计算》 5.2 数据的采集 采集方法 · 采集工具 · 存储与保护 教师:【姓名】 班级:【班级】 教材第104—109页 5.2 数据的采集 学习目标与课堂重点 5.2 数据的采集 学习目标 1. 说出数据采集的三种基本方法 2. 了解网络爬虫的工作过程 3. 认识常用 Python 数据采集库 4. 说出数据存储方式与保护技术 重点与难点 重点 · 系统日志采集 vs 网络爬虫采集 · 爬虫的 URL 队列机制 · 数据保护技术 难点 · 爬虫为什么能自动找下一页 5.2 数据的采集 本节学习路径:四步走 5.2 数据的采集 第 1 步 采集前先想清楚 明确需求,列采集清单和内容大纲 第 2 步 三种采集方法 系统日志 · 网络爬虫 · 其他方式 第 3 步 用 Python 采集 requests、bs4 等扩展库 第 4 步 存好、护好 云存储、分布式存储、加密、隐私保护 5.2 数据的采集 导入:数据是怎么被“采集”到的 5.2 数据的采集 边看边思考 ① 画面里出现了哪些采集设备? ② 它们各自采集什么数据? ③ 这些数据最后去了哪里? 来源:央视网 CCTV-13《新闻直播间》智慧农场物联网片段(土壤传感器、大棚环境数据采集) 5.2 数据的采集 采集前先想清楚:需求 → 清单 → 大纲 教材第104页 “采集数据首先要明确数据应用项目的需求,围绕选定的项目主题,制订数据采集的需求清单和内容大纲。” 步骤 要做的事 以网购项目为例 ① 明确需求 项目要回答什么问题 分析用户购买行为特点 ② 列需求清单 需要哪些字段 商品名、价格、销量、店铺 ③ 定内容大纲 去哪采、采多少 某平台 5 个页面、每页商品列表 5.2 数据的采集 5.2.1 数据采集的三种基本方法 教材第104—107页 方法 怎么做 典型场景 ① 系统日志采集法 在目标主机装小程序,把日志定向推送到日志服务器 网站访问日志、系统安全日志 ② 网络数据采集法 用网络爬虫或网站公开 API 从网页获取数据 商品信息、评论、新闻 ③ 其他数据采集法 与企业/研究机构合作,通过特定系统接口获取 企业保密数据、科学实验数据 5.2 数据的采集 方法①:系统日志采集法 教材第104页 • 系统日志:记录硬件、软件和系统问题的信息文件 • 包括操作系统日志、应用程序日志、安全日志 • 做法:目标主机装小程序 → 定向推送到日志服务器 日志 记什么 操作系统日志 开关机、报错 应用程序日志 程序运行情况 安全日志 登录、权限、攻击痕迹 用途:监视系统中发生的事件、检查错误原因、寻找被攻击时留下的痕迹。 例:安全管理信息系统用日志服务器采集原始日志,用数据库管理有效信息。 5.2 数据的采集 方法②:网络数据采集(爬虫) 教材第104页 教材图5-4:网络爬虫 什么是网络爬虫 通过爬虫或网站公开 API, 从网站上获取数据信息。 • 从初始网页的 URL 开始 • 抓取时不断抽取新 URL 放入队列 • 直到满足停止条件 5.2 数据的采集 爬虫怎么工作:URL 队列机制 教材第104页 1 从初始 URL 开始 2 抓取该网页内容 3 从页面中抽取新的 URL 4 把新 URL 放入队列 5 依次取出下一个 URL 继续抓 6 满足停止条件 → 结束 打个比方: 像“顺着链接一直逛”, 逛到一个页面就把里面的 链接记下来,再一个个逛。 成果:把非结构化网页内容 抽取成结构化数据, 存为本地文件。 5.2 数据的采集 用 Python 采集:程序5-2 的五个步骤 教材第106—107页 步骤 做什么 关键函数/语句 ① 爬取页面设置 循环 5 页,拼接页码参数 requests.get(url, params=payload) ② 爬取商品标题 找出所有商品链接 soup.find_all('a', class_=...) ③ 爬取商品价格 按标签找价格 soup.find_all('span', itemprop='price') ④ 爬取订单量 按类名找订单数 soup.find_all('a', class_=...) ⑤ 爬取店铺名 按 div 类名找店铺 soup.find_all('div', class_=...) 核心工具:requests(取网页)+ bs4(解析网页)+ 正则表达式(匹配) 5.2 数据的采集 拓展:Python 数据采集常用扩展库 教材第105页 库 作用 NumPy 科学计算基础库,n 维数组与矩阵运算 SciPy 工程与科学计算库:线性代数、优化、统计 Pandas 数据操作与聚合,提供 Series 和 DataFrame Matplotlib 2D 绘图库,可画折线、直方图、条形图、散点图 import module from module import name import 的作用:把指定模块导入当前程序,才能用它的功能。 5.2 数据的采集 看一看:程序5-1 和它的绘图结果 教材第105页 教材图5-5(左):程序5-1 教材图5-5(右):绘图结果 左边几行代码,右边就生成了一张图——这就是 Python 分析数据的优势。 5.2 数据的采集 5.2.2 数据的存储:本地 vs 云端 教材第107—108页 教材图5-6:数据的存储 两种存储方式 ① 存在本地内部 ② 放在第三方公共或私有的“云端” 云存储:物理上分散在多个地域的服务器, 用户只需获取存储空间,不必管运维。 5.2 数据的采集 存储技术:分布式与 NoSQL 教材第108页 分布式文件存储 · 把大任务分解成多个小任务 · 多个处理器/节点并行计算 · 多台主机可同时访问共享文件 · 多支持 SQL 查询 NoSQL 数据库 · 不要求固定表结构 · 适合非结构化、半结构化数据 · 便于横向扩展 · 与大数据场景更匹配 一句话:数据太多,一台机器存不下、算不动,就“分开放、一起算”。 5.2 数据的采集 数据保护技术(表5-3) 教材第109页 技术 适用场合 备份介质 管理特点 拷贝 / FTP 简单小数据量、个人不定期备份 磁盘 手动,占用人力 备份 有归档需求的用户 磁带机、磁带库、磁盘 要求使用者掌握数据库/文件系统知识 复制技术 企业 磁盘 设定策略后无须人工干预 镜像技术 企业 磁盘 简单,多以本地为主 持续备份 企业 磁盘 可恢复到过去任意时间点 结论:杀毒软件、防火墙只能防隐患,备份与复制才是更彻底的保护。 5.2 数据的采集 数据加密:对称与非对称 教材第109页 对称式加密 加密和解密用同一个密钥。 例:一把钥匙既锁门又开门。 非对称式加密 加密和解密用两个不同的密钥, 必须配对使用。 例:公钥上锁,私钥开锁。 作用:防止他人对机密数据/数据库进行非法访问、删除、修改、拷贝, 保护数据在存储和传递过程中不被修改或泄露。 5.2 数据的采集 隐私保护:三条路 教材第109页 教材图5-7:隐私泄露的途径 办法 具体做法 ① 技术手段 精度处理、访问控制、人工加扰、匿名处理 ② 保护意识 不随意公开个人信息 ③ 道德法律 约束数据使用者 记住四个技术手段: 精度处理 · 访问控制 · 人工加扰 · 匿名处理 5.2 数据的采集 5.2 思维导图 5.2 数据的采集 5.2 数据的采集 采集方法 · 系统日志采集 目标机装小程序,日志推送到日志服务器 · 网络数据采集 爬虫从 URL 队列抓取,或调用网站公开 API · 其他采集 与企业/研究机构合作,通过特定系统接口获取 采集工具 · Python 库 NumPy · SciPy · Pandas · Matplotlib · 爬虫三件套 requests 取网页 · bs4 解析 · 正则匹配 · 导入方式 import module / from module import name 存储与保护 · 存储 本地 / 云端;分布式文件存储、NoSQL · 保护技术 拷贝、备份、复制、镜像、持续备份;加密 · 隐私保护 技术手段 + 保护意识 + 道德法律约束 5.2 数据的采集 要点练习一:采集方法与工具 5.2 数据的采集 1 下列不属于数据采集基本方法的是( ) A. 系统日志采集法  B. 网络数据采集法  C. 数据可视化法  D. 其他数据采集法 2 网络爬虫的工作方式是( ) A. 一次性抓完所有网页  B. 从初始 URL 开始,抽取新 URL 入队,循环抓取  C. 只抓首页  D. 只能抓图片 3 Python 中用于解析网页的库通常是( ) A. NumPy  B. Matplotlib  C. bs4  D. SciPy 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习一:采集方法与工具|第 1 题答案 5.2 数据的采集 1 下列不属于数据采集基本方法的是( ) A. 系统日志采集法  B. 网络数据采集法  C. 数据可视化法  D. 其他数据采集法 答案:C —— 可视化属于表达,不是采集。 2 网络爬虫的工作方式是( ) A. 一次性抓完所有网页  B. 从初始 URL 开始,抽取新 URL 入队,循环抓取  C. 只抓首页  D. 只能抓图片 3 Python 中用于解析网页的库通常是( ) A. NumPy  B. Matplotlib  C. bs4  D. SciPy 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习一:采集方法与工具|第 2 题答案 5.2 数据的采集 1 下列不属于数据采集基本方法的是( ) A. 系统日志采集法  B. 网络数据采集法  C. 数据可视化法  D. 其他数据采集法 答案:C —— 可视化属于表达,不是采集。 2 网络爬虫的工作方式是( ) A. 一次性抓完所有网页  B. 从初始 URL 开始,抽取新 URL 入队,循环抓取  C. 只抓首页  D. 只能抓图片 答案:B —— 靠 URL 队列不断扩展。 3 Python 中用于解析网页的库通常是( ) A. NumPy  B. Matplotlib  C. bs4  D. SciPy 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习一:采集方法与工具|第 3 题答案 5.2 数据的采集 1 下列不属于数据采集基本方法的是( ) A. 系统日志采集法  B. 网络数据采集法  C. 数据可视化法  D. 其他数据采集法 答案:C —— 可视化属于表达,不是采集。 2 网络爬虫的工作方式是( ) A. 一次性抓完所有网页  B. 从初始 URL 开始,抽取新 URL 入队,循环抓取  C. 只抓首页  D. 只能抓图片 答案:B —— 靠 URL 队列不断扩展。 3 Python 中用于解析网页的库通常是( ) A. NumPy  B. Matplotlib  C. bs4  D. SciPy 答案:C —— bs4(BeautifulSoup)用于解析 HTML。 5.2 数据的采集 要点练习二:存储与保护 5.2 数据的采集 1 下列属于云存储特点的是( ) A. 只能存本地  B. 物理空间分散在多个服务器,用户只管用  C. 不需要服务器  D. 不能共享 2 杀毒软件和防火墙的作用是( ) A. 彻底保护数据  B. 只能防备数据安全隐患  C. 备份数据  D. 加密数据 3 加密和解密用同一个密钥,属于( ) A. 对称式加密  B. 非对称式加密  C. 哈希算法  D. 压缩 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习二:存储与保护|第 1 题答案 5.2 数据的采集 1 下列属于云存储特点的是( ) A. 只能存本地  B. 物理空间分散在多个服务器,用户只管用  C. 不需要服务器  D. 不能共享 答案:B —— 用户无需关注具体运维。 2 杀毒软件和防火墙的作用是( ) A. 彻底保护数据  B. 只能防备数据安全隐患  C. 备份数据  D. 加密数据 3 加密和解密用同一个密钥,属于( ) A. 对称式加密  B. 非对称式加密  C. 哈希算法  D. 压缩 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习二:存储与保护|第 2 题答案 5.2 数据的采集 1 下列属于云存储特点的是( ) A. 只能存本地  B. 物理空间分散在多个服务器,用户只管用  C. 不需要服务器  D. 不能共享 答案:B —— 用户无需关注具体运维。 2 杀毒软件和防火墙的作用是( ) A. 彻底保护数据  B. 只能防备数据安全隐患  C. 备份数据  D. 加密数据 答案:B —— 更彻底的是备份、复制、镜像等技术。 3 加密和解密用同一个密钥,属于( ) A. 对称式加密  B. 非对称式加密  C. 哈希算法  D. 压缩 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习二:存储与保护|第 3 题答案 5.2 数据的采集 1 下列属于云存储特点的是( ) A. 只能存本地  B. 物理空间分散在多个服务器,用户只管用  C. 不需要服务器  D. 不能共享 答案:B —— 用户无需关注具体运维。 2 杀毒软件和防火墙的作用是( ) A. 彻底保护数据  B. 只能防备数据安全隐患  C. 备份数据  D. 加密数据 答案:B —— 更彻底的是备份、复制、镜像等技术。 3 加密和解密用同一个密钥,属于( ) A. 对称式加密  B. 非对称式加密  C. 哈希算法  D. 压缩 答案:A —— 对称式加密用同一密钥。 5.2 数据的采集 要点练习三:隐私保护 5.2 数据的采集 1 下列不属于隐私保护技术手段的是( ) A. 数据精度处理  B. 访问控制  C. 人工加扰  D. 提高网速 2 解决问题需要技术手段、保护意识和( )三方面 A. 提高硬件配置  B. 道德与法律约束  C. 增加数据量  D. 关闭网络 3 分布式文件存储的主要优势是( ) A. 只能单机运行  B. 把大任务分解,多节点并行计算  C. 不需要网络  D. 不能存非结构化数据 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习三:隐私保护|第 1 题答案 5.2 数据的采集 1 下列不属于隐私保护技术手段的是( ) A. 数据精度处理  B. 访问控制  C. 人工加扰  D. 提高网速 答案:D —— 提高网速与隐私保护无关。 2 解决问题需要技术手段、保护意识和( )三方面 A. 提高硬件配置  B. 道德与法律约束  C. 增加数据量  D. 关闭网络 3 分布式文件存储的主要优势是( ) A. 只能单机运行  B. 把大任务分解,多节点并行计算  C. 不需要网络  D. 不能存非结构化数据 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习三:隐私保护|第 2 题答案 5.2 数据的采集 1 下列不属于隐私保护技术手段的是( ) A. 数据精度处理  B. 访问控制  C. 人工加扰  D. 提高网速 答案:D —— 提高网速与隐私保护无关。 2 解决问题需要技术手段、保护意识和( )三方面 A. 提高硬件配置  B. 道德与法律约束  C. 增加数据量  D. 关闭网络 答案:B —— 还要对数据使用者进行道德和法律约束。 3 分布式文件存储的主要优势是( ) A. 只能单机运行  B. 把大任务分解,多节点并行计算  C. 不需要网络  D. 不能存非结构化数据 单击进入下一页,逐题显示答案 5.2 数据的采集 要点练习三:隐私保护|第 3 题答案 5.2 数据的采集 1 下列不属于隐私保护技术手段的是( ) A. 数据精度处理  B. 访问控制  C. 人工加扰  D. 提高网速 答案:D —— 提高网速与隐私保护无关。 2 解决问题需要技术手段、保护意识和( )三方面 A. 提高硬件配置  B. 道德与法律约束  C. 增加数据量  D. 关闭网络 答案:B —— 还要对数据使用者进行道德和法律约束。 3 分布式文件存储的主要优势是( ) A. 只能单机运行  B. 把大任务分解,多节点并行计算  C. 不需要网络  D. 不能存非结构化数据 答案:B —— 分布式并行提高效率。 $

资源预览图

5.2 数据的采集 课件 2026-2027学年粤教版 高中信息技术必修一-第1页
1
5.2 数据的采集 课件 2026-2027学年粤教版 高中信息技术必修一-第2页
2
5.2 数据的采集 课件 2026-2027学年粤教版 高中信息技术必修一-第3页
3
5.2 数据的采集 课件 2026-2027学年粤教版 高中信息技术必修一-第4页
4
5.2 数据的采集 课件 2026-2027学年粤教版 高中信息技术必修一-第5页
5
5.2 数据的采集 课件 2026-2027学年粤教版 高中信息技术必修一-第6页
6

由于学科网是一个信息分享及获取的平台,不确保部分用户上传资料的 来源及知识产权归属。如您发现相关资料侵犯您的合法权益,请联系学科网,我们核实后将及时进行处理。