5.2.1 数据采集的方法和工具　课件　 2022—2023学年粤教版（2019）高中信息技术必修1

5.2.1 数据采集的方法和工具（1） 粤教版普通高中教科书 信息技术 必修1 5.2 数据的采集第1课时 1 知识回顾 2 处理数据的一般过程： 数据分析 数据可视化表达 数据采集 数据采集的方法与工具 数据的存储与保护 导入 数据采集 数据采集的方法和工具 1 2 目录 4 数据采集：根据需求采用适当的方法和工具获取数据。 如： 将文字录入电脑——键盘打字、扫描仪扫描 记录课堂活动——照相机拍照、摄像机摄像等 记录一段声音——麦克风录音 1问：什么是数据的采集 1 数据采集 2 数据采集的方法和工具 5 2问：数据采集的过程是怎样的？ 需要获取什么数据？ 温度 怎么获取？ 测温仪/体温计 为什么能够获取？ 温度传感器/液体金属热胀冷缩 如何记录获取到的数据？ 填纸质表、问卷星登记等 以记录全班同学当前的体温为例 2 数据采集的方法和工具 1 数据采集 6 明确数据应用项目的需求 采用适当的方法和工具 数据的存储和保护 围绕选定的项目主题，制定数据采集的需求清单和内容大纲 针对不同的数据类型，选择适当的工具和方法，采集数据 要选择合适的存储方式并注意数据安全 数据采集的过程 1 数据采集 2 数据采集的方法和工具 7 1 数据采集 2 数据采集的方法和工具 01 03 系统日志采集法 网络数据采集法 其他数据采集法 02 数据采集的基本方法： 8 01系统日志采集法 1 数据采集 2 数据采集的方法和工具 认知 9 01系统日志采集法 1 数据采集 2 数据采集的方法和工具 认知 在信息系统中，系统日志是记录系统中硬件、软件和系统问题的信息文件。包括操作系统日志、应用程序日志、安全日志。 10 01系统日志采集法 1 数据采集 2 数据采集的方法和工具 认知 体验 活动一：参照微课《系统日志采集法》进行实践，在活动记录表中截图粘贴并分析你的计算机的情况 截图： 分析： 02网络数据采集法 1 数据采集 2 数据采集的方法和工具 认知 内涵：指通过网络爬虫或网站公开API（应用程序接口）等方式从网站上获取数据信息。 活动二：请观看视频： 《网络爬虫是什么》 思考如下问题： 1.什么是网络爬虫？ 2.网络爬虫的应用有哪些？ 3.网络爬虫获取数据的流程是怎样的？ 4.如何实现爬虫程序爬取数据 12 02网络数据采集法 1 数据采集 2 数据采集的方法和工具 认知 网络爬虫是什么？ 13 02网络数据采集法 1 数据采集 2 数据采集的方法和工具 认知 1.什么是网络爬虫？ 网络爬虫：又称网络蜘蛛、网络蚂蚁、网络机器人等。 按照人们事先制定的爬取规则，可以代替人们自动地在互联网中进行数据的采集与整理。 即：可以自动采集网络数据的程序 14 02网络数据采集法 1 数据采集 2 数据采集的方法和工具 认知 2.网络爬虫的应用有哪些？ 15 02网络数据采集法 1 数据采集 2 数据采集的方法和工具 认知 3.网络爬虫获取数据的流程是怎样的？ 16 02网络数据采集法 1 数据采集 2 数据采集的方法和工具 认知 3.网络爬虫获取数据的流程是怎样的？ 获取网页的URL 爬取网页的内容 分析网页的内容 提取有用的数据 获取其他的URL，重复前面的步骤，直到满足停止条件 注意：网络爬虫的合法性 若采集的数据是个人使用，不违法 若采集的数据使用时涉及商业盈利范畴，可能违法 17 02网络数据采集法 1 数据采集 2 数据采集的方法和工具 认知 4.如何实现爬虫程序爬取数据 使用Python语言的第三方库来实现爬虫编写 使用到的库： requests库——获取网页信息 bs4库（beautifulsoup）——解析HTML页面 xlwt库——调用Excel模块，将获取的有用信息写入表格文件保存 NumPy库 ——构建科学计算最基础的软件库 Pandas ——主要用于快速简单的数据操作、聚合和可视化呈现 Matplotlib ——Python绘图库 18 02网络数据采集法 1 数据采集 2 数据采集的方法和工具 活动三：结合微课《python第三方库的安装与使用》初步体验网络数据采集法： 1、安装Python扩展库：通过pip安装requests库 2、运行以下代码，简单体验使用爬虫程序采集网页数据。 1）import requests（说明：导入爬去网页第三方库requests） 2）r=requests.get(“http://www.baidu.com”)（说明：获取网页地址URL，可尝试其他网址） 3）r.status_code（显示连接状态） 4）r.text（显示网页内容） 5）r.apparent_encoding（显示内容编码） 6）r.encoding="utf-8"（修改网页内容编码为utf-8编码） 7）r.te