5.2 数据的采集 课件 2026-2027学年粤教版 高中信息技术必修一
|
30页
|
62人阅读
|
0人下载
普通
内容正文:
高中信息技术 必修1《数据与计算》
5.2
数据的采集
采集方法 · 采集工具 · 存储与保护
教师:【姓名】 班级:【班级】
教材第104—109页
5.2 数据的采集
学习目标与课堂重点
5.2 数据的采集
学习目标
1. 说出数据采集的三种基本方法
2. 了解网络爬虫的工作过程
3. 认识常用 Python 数据采集库
4. 说出数据存储方式与保护技术
重点与难点
重点
· 系统日志采集 vs 网络爬虫采集
· 爬虫的 URL 队列机制
· 数据保护技术
难点
· 爬虫为什么能自动找下一页
5.2 数据的采集
本节学习路径:四步走
5.2 数据的采集
第 1 步
采集前先想清楚
明确需求,列采集清单和内容大纲
第 2 步
三种采集方法
系统日志 · 网络爬虫 · 其他方式
第 3 步
用 Python 采集
requests、bs4 等扩展库
第 4 步
存好、护好
云存储、分布式存储、加密、隐私保护
5.2 数据的采集
导入:数据是怎么被“采集”到的
5.2 数据的采集
边看边思考
① 画面里出现了哪些采集设备?
② 它们各自采集什么数据?
③ 这些数据最后去了哪里?
来源:央视网 CCTV-13《新闻直播间》智慧农场物联网片段(土壤传感器、大棚环境数据采集)
5.2 数据的采集
采集前先想清楚:需求 → 清单 → 大纲
教材第104页
“采集数据首先要明确数据应用项目的需求,围绕选定的项目主题,制订数据采集的需求清单和内容大纲。”
步骤 要做的事 以网购项目为例
① 明确需求 项目要回答什么问题 分析用户购买行为特点
② 列需求清单 需要哪些字段 商品名、价格、销量、店铺
③ 定内容大纲 去哪采、采多少 某平台 5 个页面、每页商品列表
5.2 数据的采集
5.2.1 数据采集的三种基本方法
教材第104—107页
方法 怎么做 典型场景
① 系统日志采集法 在目标主机装小程序,把日志定向推送到日志服务器 网站访问日志、系统安全日志
② 网络数据采集法 用网络爬虫或网站公开 API 从网页获取数据 商品信息、评论、新闻
③ 其他数据采集法 与企业/研究机构合作,通过特定系统接口获取 企业保密数据、科学实验数据
5.2 数据的采集
方法①:系统日志采集法
教材第104页
• 系统日志:记录硬件、软件和系统问题的信息文件
• 包括操作系统日志、应用程序日志、安全日志
• 做法:目标主机装小程序 → 定向推送到日志服务器
日志 记什么
操作系统日志 开关机、报错
应用程序日志 程序运行情况
安全日志 登录、权限、攻击痕迹
用途:监视系统中发生的事件、检查错误原因、寻找被攻击时留下的痕迹。
例:安全管理信息系统用日志服务器采集原始日志,用数据库管理有效信息。
5.2 数据的采集
方法②:网络数据采集(爬虫)
教材第104页
教材图5-4:网络爬虫
什么是网络爬虫
通过爬虫或网站公开 API,
从网站上获取数据信息。
• 从初始网页的 URL 开始
• 抓取时不断抽取新 URL 放入队列
• 直到满足停止条件
5.2 数据的采集
爬虫怎么工作:URL 队列机制
教材第104页
1
从初始 URL 开始
2
抓取该网页内容
3
从页面中抽取新的 URL
4
把新 URL 放入队列
5
依次取出下一个 URL 继续抓
6
满足停止条件 → 结束
打个比方:
像“顺着链接一直逛”,
逛到一个页面就把里面的
链接记下来,再一个个逛。
成果:把非结构化网页内容
抽取成结构化数据,
存为本地文件。
5.2 数据的采集
用 Python 采集:程序5-2 的五个步骤
教材第106—107页
步骤 做什么 关键函数/语句
① 爬取页面设置 循环 5 页,拼接页码参数 requests.get(url, params=payload)
② 爬取商品标题 找出所有商品链接 soup.find_all('a', class_=...)
③ 爬取商品价格 按标签找价格 soup.find_all('span', itemprop='price')
④ 爬取订单量 按类名找订单数 soup.find_all('a', class_=...)
⑤ 爬取店铺名 按 div 类名找店铺 soup.find_all('div', class_=...)
核心工具:requests(取网页)+ bs4(解析网页)+ 正则表达式(匹配)
5.2 数据的采集
拓展:Python 数据采集常用扩展库
教材第105页
库 作用
NumPy 科学计算基础库,n 维数组与矩阵运算
SciPy 工程与科学计算库:线性代数、优化、统计
Pandas 数据操作与聚合,提供 Series 和 DataFrame
Matplotlib 2D 绘图库,可画折线、直方图、条形图、散点图
import module
from module import name
import 的作用:把指定模块导入当前程序,才能用它的功能。
5.2 数据的采集
看一看:程序5-1 和它的绘图结果
教材第105页
教材图5-5(左):程序5-1
教材图5-5(右):绘图结果
左边几行代码,右边就生成了一张图——这就是 Python 分析数据的优势。
5.2 数据的采集
5.2.2 数据的存储:本地 vs 云端
教材第107—108页
教材图5-6:数据的存储
两种存储方式
① 存在本地内部
② 放在第三方公共或私有的“云端”
云存储:物理上分散在多个地域的服务器,
用户只需获取存储空间,不必管运维。
5.2 数据的采集
存储技术:分布式与 NoSQL
教材第108页
分布式文件存储
· 把大任务分解成多个小任务
· 多个处理器/节点并行计算
· 多台主机可同时访问共享文件
· 多支持 SQL 查询
NoSQL 数据库
· 不要求固定表结构
· 适合非结构化、半结构化数据
· 便于横向扩展
· 与大数据场景更匹配
一句话:数据太多,一台机器存不下、算不动,就“分开放、一起算”。
5.2 数据的采集
数据保护技术(表5-3)
教材第109页
技术 适用场合 备份介质 管理特点
拷贝 / FTP 简单小数据量、个人不定期备份 磁盘 手动,占用人力
备份 有归档需求的用户 磁带机、磁带库、磁盘 要求使用者掌握数据库/文件系统知识
复制技术 企业 磁盘 设定策略后无须人工干预
镜像技术 企业 磁盘 简单,多以本地为主
持续备份 企业 磁盘 可恢复到过去任意时间点
结论:杀毒软件、防火墙只能防隐患,备份与复制才是更彻底的保护。
5.2 数据的采集
数据加密:对称与非对称
教材第109页
对称式加密
加密和解密用同一个密钥。
例:一把钥匙既锁门又开门。
非对称式加密
加密和解密用两个不同的密钥,
必须配对使用。
例:公钥上锁,私钥开锁。
作用:防止他人对机密数据/数据库进行非法访问、删除、修改、拷贝,
保护数据在存储和传递过程中不被修改或泄露。
5.2 数据的采集
隐私保护:三条路
教材第109页
教材图5-7:隐私泄露的途径
办法 具体做法
① 技术手段 精度处理、访问控制、人工加扰、匿名处理
② 保护意识 不随意公开个人信息
③ 道德法律 约束数据使用者
记住四个技术手段:
精度处理 · 访问控制 · 人工加扰 · 匿名处理
5.2 数据的采集
5.2 思维导图
5.2 数据的采集
5.2
数据的采集
采集方法
· 系统日志采集 目标机装小程序,日志推送到日志服务器
· 网络数据采集 爬虫从 URL 队列抓取,或调用网站公开 API
· 其他采集 与企业/研究机构合作,通过特定系统接口获取
采集工具
· Python 库 NumPy · SciPy · Pandas · Matplotlib
· 爬虫三件套 requests 取网页 · bs4 解析 · 正则匹配
· 导入方式 import module / from module import name
存储与保护
· 存储 本地 / 云端;分布式文件存储、NoSQL
· 保护技术 拷贝、备份、复制、镜像、持续备份;加密
· 隐私保护 技术手段 + 保护意识 + 道德法律约束
5.2 数据的采集
要点练习一:采集方法与工具
5.2 数据的采集
1
下列不属于数据采集基本方法的是( )
A. 系统日志采集法 B. 网络数据采集法 C. 数据可视化法 D. 其他数据采集法
2
网络爬虫的工作方式是( )
A. 一次性抓完所有网页 B. 从初始 URL 开始,抽取新 URL 入队,循环抓取 C. 只抓首页 D. 只能抓图片
3
Python 中用于解析网页的库通常是( )
A. NumPy B. Matplotlib C. bs4 D. SciPy
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习一:采集方法与工具|第 1 题答案
5.2 数据的采集
1
下列不属于数据采集基本方法的是( )
A. 系统日志采集法 B. 网络数据采集法 C. 数据可视化法 D. 其他数据采集法
答案:C —— 可视化属于表达,不是采集。
2
网络爬虫的工作方式是( )
A. 一次性抓完所有网页 B. 从初始 URL 开始,抽取新 URL 入队,循环抓取 C. 只抓首页 D. 只能抓图片
3
Python 中用于解析网页的库通常是( )
A. NumPy B. Matplotlib C. bs4 D. SciPy
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习一:采集方法与工具|第 2 题答案
5.2 数据的采集
1
下列不属于数据采集基本方法的是( )
A. 系统日志采集法 B. 网络数据采集法 C. 数据可视化法 D. 其他数据采集法
答案:C —— 可视化属于表达,不是采集。
2
网络爬虫的工作方式是( )
A. 一次性抓完所有网页 B. 从初始 URL 开始,抽取新 URL 入队,循环抓取 C. 只抓首页 D. 只能抓图片
答案:B —— 靠 URL 队列不断扩展。
3
Python 中用于解析网页的库通常是( )
A. NumPy B. Matplotlib C. bs4 D. SciPy
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习一:采集方法与工具|第 3 题答案
5.2 数据的采集
1
下列不属于数据采集基本方法的是( )
A. 系统日志采集法 B. 网络数据采集法 C. 数据可视化法 D. 其他数据采集法
答案:C —— 可视化属于表达,不是采集。
2
网络爬虫的工作方式是( )
A. 一次性抓完所有网页 B. 从初始 URL 开始,抽取新 URL 入队,循环抓取 C. 只抓首页 D. 只能抓图片
答案:B —— 靠 URL 队列不断扩展。
3
Python 中用于解析网页的库通常是( )
A. NumPy B. Matplotlib C. bs4 D. SciPy
答案:C —— bs4(BeautifulSoup)用于解析 HTML。
5.2 数据的采集
要点练习二:存储与保护
5.2 数据的采集
1
下列属于云存储特点的是( )
A. 只能存本地 B. 物理空间分散在多个服务器,用户只管用 C. 不需要服务器 D. 不能共享
2
杀毒软件和防火墙的作用是( )
A. 彻底保护数据 B. 只能防备数据安全隐患 C. 备份数据 D. 加密数据
3
加密和解密用同一个密钥,属于( )
A. 对称式加密 B. 非对称式加密 C. 哈希算法 D. 压缩
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习二:存储与保护|第 1 题答案
5.2 数据的采集
1
下列属于云存储特点的是( )
A. 只能存本地 B. 物理空间分散在多个服务器,用户只管用 C. 不需要服务器 D. 不能共享
答案:B —— 用户无需关注具体运维。
2
杀毒软件和防火墙的作用是( )
A. 彻底保护数据 B. 只能防备数据安全隐患 C. 备份数据 D. 加密数据
3
加密和解密用同一个密钥,属于( )
A. 对称式加密 B. 非对称式加密 C. 哈希算法 D. 压缩
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习二:存储与保护|第 2 题答案
5.2 数据的采集
1
下列属于云存储特点的是( )
A. 只能存本地 B. 物理空间分散在多个服务器,用户只管用 C. 不需要服务器 D. 不能共享
答案:B —— 用户无需关注具体运维。
2
杀毒软件和防火墙的作用是( )
A. 彻底保护数据 B. 只能防备数据安全隐患 C. 备份数据 D. 加密数据
答案:B —— 更彻底的是备份、复制、镜像等技术。
3
加密和解密用同一个密钥,属于( )
A. 对称式加密 B. 非对称式加密 C. 哈希算法 D. 压缩
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习二:存储与保护|第 3 题答案
5.2 数据的采集
1
下列属于云存储特点的是( )
A. 只能存本地 B. 物理空间分散在多个服务器,用户只管用 C. 不需要服务器 D. 不能共享
答案:B —— 用户无需关注具体运维。
2
杀毒软件和防火墙的作用是( )
A. 彻底保护数据 B. 只能防备数据安全隐患 C. 备份数据 D. 加密数据
答案:B —— 更彻底的是备份、复制、镜像等技术。
3
加密和解密用同一个密钥,属于( )
A. 对称式加密 B. 非对称式加密 C. 哈希算法 D. 压缩
答案:A —— 对称式加密用同一密钥。
5.2 数据的采集
要点练习三:隐私保护
5.2 数据的采集
1
下列不属于隐私保护技术手段的是( )
A. 数据精度处理 B. 访问控制 C. 人工加扰 D. 提高网速
2
解决问题需要技术手段、保护意识和( )三方面
A. 提高硬件配置 B. 道德与法律约束 C. 增加数据量 D. 关闭网络
3
分布式文件存储的主要优势是( )
A. 只能单机运行 B. 把大任务分解,多节点并行计算 C. 不需要网络 D. 不能存非结构化数据
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习三:隐私保护|第 1 题答案
5.2 数据的采集
1
下列不属于隐私保护技术手段的是( )
A. 数据精度处理 B. 访问控制 C. 人工加扰 D. 提高网速
答案:D —— 提高网速与隐私保护无关。
2
解决问题需要技术手段、保护意识和( )三方面
A. 提高硬件配置 B. 道德与法律约束 C. 增加数据量 D. 关闭网络
3
分布式文件存储的主要优势是( )
A. 只能单机运行 B. 把大任务分解,多节点并行计算 C. 不需要网络 D. 不能存非结构化数据
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习三:隐私保护|第 2 题答案
5.2 数据的采集
1
下列不属于隐私保护技术手段的是( )
A. 数据精度处理 B. 访问控制 C. 人工加扰 D. 提高网速
答案:D —— 提高网速与隐私保护无关。
2
解决问题需要技术手段、保护意识和( )三方面
A. 提高硬件配置 B. 道德与法律约束 C. 增加数据量 D. 关闭网络
答案:B —— 还要对数据使用者进行道德和法律约束。
3
分布式文件存储的主要优势是( )
A. 只能单机运行 B. 把大任务分解,多节点并行计算 C. 不需要网络 D. 不能存非结构化数据
单击进入下一页,逐题显示答案
5.2 数据的采集
要点练习三:隐私保护|第 3 题答案
5.2 数据的采集
1
下列不属于隐私保护技术手段的是( )
A. 数据精度处理 B. 访问控制 C. 人工加扰 D. 提高网速
答案:D —— 提高网速与隐私保护无关。
2
解决问题需要技术手段、保护意识和( )三方面
A. 提高硬件配置 B. 道德与法律约束 C. 增加数据量 D. 关闭网络
答案:B —— 还要对数据使用者进行道德和法律约束。
3
分布式文件存储的主要优势是( )
A. 只能单机运行 B. 把大任务分解,多节点并行计算 C. 不需要网络 D. 不能存非结构化数据
答案:B —— 分布式并行提高效率。
$