1.3使用网页爬虫爬取网页数据 教学课件 2025—2026学年电子工业社版（2022）初中信息科技第二册

1.3使用网页爬虫爬取网页数据 年级：七年级下册 课时：1 课时 教材：电子工业出版社 项目主题：校园科技节 —— 优秀电影推荐数据整理 一、核心素养教学目标 （1）信息意识 能感知海量数据获取的痛点，理解爬虫的价值，能判断公开数据与隐私数据边界，树立数据安全与版权意识。 （2）计算思维 能拆解爬虫 “请求 — 解析 — 存储” 流程，能用 XPath 定位数据，理解自动化批量处理的逻辑，能用编程思维解决实际问题。 （3）数字化学习与创新 会用 Python 爬虫工具高效采集、整理、导出电影数据，能借助技术完成校园科技节项目任务，提升数字化实践能力。 （4）信息社会责任 理解并遵守 Robots 协议与网络规则，尊重数据产权，合法合规使用爬虫，树立文明上网、安全用技的责任意识。 二、教学重难点 重点：认识爬虫作用与流程；会运行 Python 爬虫获取数据；遵守 Robots 协议。 难点：理解爬虫工作逻辑；正确获取 XPath 路径；树立合规使用技术的意识。 三、教学方法 项目驱动法、情境教学法、实操探究法、小组合作法、案例分析法 四、教学准备 教师：课件、Python 环境、示例代码、Excel 结果样例、robots.txt 查看指引。 学生：计算机. 五、教学过程 （一）情境导入：项目任务驱动（5 分钟） 校园科技节需要200 部经典电影信息（名称、评分、简介、评价人数），用于制作推荐展板。 痛点提问 手动复制粘贴会遇到什么问题？（慢、累、重复、不全） 有没有更高效的自动化工具？ 引出课题 今天学习网页爬虫，用技术快速完成电影数据采集。 （二）活动 1：认识网络爬虫（10 分钟） 直观理解 互联网 = 蜘蛛网，数据 = 节点，爬虫 = 网络蜘蛛，自动抓取网页数据的机器人。 核心作用 替代人工重复操作，批量、高效、自动采集公开数据。 生活应用（小组填表） 小结 爬虫是数据采集助手，只爬取公开数据，不碰隐私。 （三）活动 2：编程实现网络爬虫（18 分钟） 爬虫三步骤 1.请求网页：requests 向网站获取内容 2.解析数据：lxml + XPath 定位需要的内容 3.保存数据：pandas 导出 Excel 关键技能：获取 XPath F12 打开开发者工具 选中元素→右键→复制 XPath 学生实操 安装 requests、lxml、pandas 打开代码文件，运行爬虫 查看生成的电影 Excel 表格 教师点拨 加密、动态、反爬网站无法直接爬取。 （四）活动 3：爬虫的 “君子协议”（7 分钟） 提出问题 爬虫可以随便爬、随便用吗？ 学习 Robots 协议 网站根目录robots.txt 规定：哪些能爬、哪些不能爬 Disallow：禁止；Allow：允许 实操任务 访问豆瓣robots.txt，记录规则。 安全底线 不爬隐私、不爬商业秘密 不恶意攻击、不滥用数据 合法合规、文明爬取 （五）课堂总结与项目成果（5 分钟） 知识回顾 爬虫是什么、做什么、怎么做 三流程：请求→解析→存储 一底线：遵守 Robots 协议 素养提升 技术是工具，守规则、负责任才是数字公民的核心素养。 六、板书设计 1.3 使用网页爬虫爬取网页数据 爬虫是什么：自动抓取公开数据的网络蜘蛛 三步流程 请求 → 解析（XPath） → 存储（Excel） 君子协议 Robots 协议 → 允许 / 禁止 → 合法合规、文明使用 七、评价设计（核心素养导向） 信息意识：能区分公开 / 隐私数据，说出爬虫适用场景。 计算思维：能拆解爬虫流程，正确运行代码获取数据。 数字化实践：能独立完成爬取，导出可用的电影数据。 社会责任：能查看 robots.txt 并说出 3 条合规要求。 八、教学反思 1.实操环节需提前配置 Python 环境，避免安装库失败。 2.XPath 对部分学生偏难，可提供预制路径降低难度。 3.强化 “合规使用”，结合案例让学生理解技术伦理的重要性。 学科网（北京）股份有限公司 $null 情境导入： 本单元项目式 主题：校园科技节 同学们，学校要举办一场 “优秀电影推荐” 活动，需要我们整理出一些经典且受欢迎的电影名单及其相关信息，以便向同学们宣传介绍。 问题1.你知道哪些有关介绍电影的网站?（需要包含电影名称、评分、评价人数等信息） 01.知识点讲解 豆瓣电影是根据豆瓣用户的评分和评论，按照评分高低排序的电影排行榜。你可以看到各种类型和国家的经典电影，也可以查看你没看过的电影，或者分享你的观影感受。 如果想要批量获取200个电影的信息及简介，你会怎么做？ 不断复制、粘贴、复制、粘贴..... 有没有一种工具 能够代替我们重复这个繁琐的工作？ 出现的问题： 1.有重复数据 2.并没有到200个数据 3.简介不够详细 《1.3使用网页爬虫爬取网页数据》 电子工业出版社 七年级下册 -第1单元 解密互联网中的信息编码 - 信息科技 课件 珠珠老师 1 活动1：认识网络爬虫 2 活动2：编程实现网络爬虫 《目录》 信息科技 3 活动3：熟悉网络爬虫的“君子协议” 01 认识网络爬虫 活动1 01.知识点讲解 1.如果把互联网比喻成一张庞大的蜘蛛网，______便存放于蜘蛛网中的各个节点上。 2.网络爬虫也叫_____________,是一种按照一定的规则，自动抓取网页数据的网络机器人 3.思考：爬虫可以在我们生活中哪些应用场景？ 活动1：认识网络爬虫 预习书本19页 01 数据 网络蜘蛛 01.知识点讲解 一般情况下，我们是通过在网页上搜索、复制、粘贴来获取需要的数据，但是如果需要获取的数据量特别大，这种方式就显得费时费力。我们可以通过编制网络爬虫程序(以下简称为网络爬虫) 来实现对数据的自动化采集。 活动1：认识网络爬虫 01 什么是网络爬虫 01.知识点讲解 网络爬虫就是模拟我们浏览网页的行为，再将站点返回的HTML代码放到本地，保存并使用。 01 网络爬虫小总结 活动1：认识网络爬虫 原则上只要浏览器能做的事情，爬虫都能做！ 01.知识点讲解 任务：请通过搜索引擎，详细了解爬虫具体可以应用在哪些方面？完成表格 时间：5min 活动1：认识网络爬虫 01 应用场景 举例 应用场景 举例 网购物品价格监控与比价 爬取淘宝、京东、拼多多等平台的商品价格，自动监控降价、打折，帮你买到最低价；也可用于对比同款商品在不同店铺的报价，避免买贵。 招聘信息收集与岗位分析 批量爬取 BOSS 直聘、智联、前程无忧等网站的岗位信息，统计薪资范围、热门技能要求、地区岗位分布，用于求职规划或行业分析。 新闻、资讯与热点聚合 定时爬取新闻网站、公众号、微博热搜、行业公众号内容，自动汇总成简报，用于自媒体素材、舆情监控或日常信息阅读。 学习资料、题库、课程信息整理 爬取公开的学习网站、公开课平台、题库网站的免费资料，整理成文档或表格，方便学生、老师备课复习或自学使用。 02 编程实现网络爬虫 活动2 01.知识点讲解 使用Python语言可以方便地编写网络爬虫的程序，获取网页中的信息。 活动2：编程实现网络爬虫 02 接下来教师演示使用python语言编写获取网页信息的网络爬虫程序。 python语言编写爬虫优势： 丰富的爬虫库与框架 Python拥有大量成熟的第三方库，覆盖爬虫开发的各个环节 01.知识点讲解 活动2：编程实现网络爬虫 02 爬虫爬取数据的顺序： （1）请求网页：向网站发送请求，拿到页面内容 （2）解析数据：从页面里提取需要的信息 （3）保存数据：把数据存储到本地或数据库 01.知识点讲解 活动2：编程实现网络爬虫 02 (１)鼠标右击，打开“体验数据爬取”Python文件,打开下拉列表“Edit with IDLE”，进入Python代码编程界面，按以下步骤操作。 01.知识点讲解 活动2：编程实现网络爬虫 02 (２)使用requests模块和lxml模块加载网络爬虫程序,补充模块代码 (3)运行爬虫程序，观察爬取的数据信息变化 01.知识点讲解 上述程序中用到了Python语言的两个扩展模块，下面介绍安装扩展模块的方法。 在mPython的Python编程界面中单击上方的“添加库”,再单击“PIP安装”,打开一个对话框，在对话框中输入扩展库名称“requests”,如下图所示。单击“安装”按钮，若出现“Successfully installed”,就表示requests模块安装好了，然后可以按同样的方法安装Ixml模块。 02 知识 拓展 活动2：编程实现网络爬虫 加载网络爬虫程序需要的模块 01.知识点讲解 XPath(XML Path Language)是一种小型查询语言，用于在XML(可扩展标记语言)文档中查找信息。 可以采用以下方法获取网页中指定位置的XPath地址： (1)使用浏览器打开网页，按F12键进入开发者模式，查看网页源代码； (2)单击“选取页面中的元素”按钮,选中要抓取的网页内容，对应的，开发者窗格中会有一段高亮显示的代码； (3)将鼠标指针指向高亮代码部分，并在其上面右击； (4)打开快捷菜单，执行“复制”→“复制XPath”命令，如下图所示，就可以把选中内容对应的XPath地址复制到操作系统的剪贴板上。 02 活动2：编程实现网络爬虫 获取网页中指定位置的XPath路径地址 01.知识点讲解 02 活动2：编程实现网络爬虫 获取网页中指定位置的XPath路径地址 需要注意的是，虽然用网络爬虫获取网站内容的方法有很多，但使用网络爬虫并不能获取所有希望获取的网站内容，如封装过的网页或动态网页，以及做了屏蔽网络爬虫设置的网站等，都无法获取。 01.知识点讲解 02 活动2：豆包编程实现网络爬虫 需要注意的是，虽然用网络爬虫获取网站内容的方法有很多，但使用网络爬虫并不能获取所有希望获取的网站内容，如封装过的网页或动态网页，以及做了屏蔽网络爬虫设置的网站等，都无法获取。 擅长利用AI的编程功能 能帮助我们更好地达到想要的目的哦！ 03 熟悉网络爬虫的“君子协议” 活动3 在使用网络爬虫爬取网络信息时，可以随便爬取吗?爬取到的信息都可以随便使用吗?结合使用网络爬虫的体验，尝试制订合理的网络爬虫协议，并写在导学案中。 讨论与交流 01.知识点讲解 03 活动3：熟悉网络爬虫的“君子协议” 01.知识点讲解 为了规范网络爬虫的使用，一些搜索引擎从业者和网站站长定下了“君子协议”——Robots协议(爬虫协议、机器人协议),其全称是网络爬虫排除标准。 协议规定：网站管理员在网站域名的根目录下存放一个Robots.txt文本文件，文件里指定该网站的哪些内容可以爬取，哪些内容不可以爬取。使用网络爬虫程序采集网站信息前，要先阅读该网站的这个文件，根据文件的规则来采集网站的数据。 我们在使用网络爬虫爬取网页数据时，要严格遵守网站的Robots协议，在爬取要使用的信息前，应先进行审查，如发现用户的个人信息或商业秘密，应及时停止爬取并删除已爬取的信息。 03 助力知识：君子协议 活动3：熟悉网络爬虫的“君子协议” 01.知识点讲解 03 课堂任务：查看豆瓣网 robots.txt 文件 任务目标:了解网络爬虫规范，学会查看网站robots.txt文件，明确哪些内容允许爬取、哪些禁止爬取，树立合法合规的爬虫使用意识。 任务时长:5 分钟 具体操作步骤 (1)打开电脑上任意一款浏览器（如 Chrome、Edge、 Firefox 等），在浏览器顶部地址栏输入豆瓣网robots.txt文件访问地址：https://www.douban.com/robots.txt，按下回车键访问。 (2)页面加载完成后，查看页面中展示的文本内容，重点观察User-agent（爬虫标识）、Disallow（禁止爬取路径）、Allow（允许爬取路径）等关键字段，简单记录网站对爬虫的限制规则。 活动3：熟悉网络爬虫的“君子协议” 启发思考 1.爬虫不是想爬就能爬 每个网站都有自己的规则，哪些内容可以访问、哪些不能访问，网站都会明确说明。我们在写爬虫时，必须先遵守这些规则，不能随意抓取。 2.保护隐私与数据安全很重要 网站禁止爬取用户信息、搜索结果、社区内容等，是为了保护用户隐私和数据安全。作为学习者，我们要树立尊重他人数据、保护个人信息的意识。 3.合法合规是编程的底线 爬虫技术本身是工具，但如果无视规则、恶意爬取，可能会违反法律，给网站造成负担，甚至承担责任。学习技术的同时，更要学会合法使用。 4.学会 “君子协定”，文明上网 robots.txt 是网站和爬虫之间的 “君子协定”。即使技术上可以做到，我们也应自觉遵守，做到文明爬取、绿色爬取。 5.培养规则意识和职业素养 未来无论从事编程、数据分析还是网络相关工作，遵守平台规则、尊重知识产权、维护网络秩序，都是必备的职业素养。 巩固练习 1.如果把互联网比喻成一张庞大的蜘蛛网，______便存放于蜘蛛网中的各个节点上。 2.网络爬虫也叫_____________,是一种按照一定的规则，自动抓取网页数据的网络机器人： 3.我们可以把爬虫技术归纳为请求、___________和存储三个基本流程。 4.Robots协议的全称是_____ ________。 5.下列有关网络爬虫的说法中，正确的是( )。 A.只要是网络上的信息，都可以通过网络爬虫获取 B.网络爬虫程序只能使用 Python 语言编写 C.使用 Ixml 模块编写 Python 网络爬虫程序，可以不加载 requests 模块 D. XPath 地址可以在浏览器的开发者模式中通过复制得到 数据 网络蜘蛛 解析提取 网络爬虫排除标准 D 01.知识点讲解 课堂总结 活动1：认识网络爬虫 知道网络爬虫是什么，有什么作用 活动2：编程实现网络爬虫 体验爬虫编程爬取豆瓣网站的内容 1 2 goodbye 活动3：熟悉网络爬虫的“君子协议” 知道网络爬虫的道德规范 3 《感谢观看》 - Thank for Viewing - 2023年电子工业出版社 七年级下册 Lavf58.20.100 Bilibili VXCode Swarm Transcoder v0.3.75 Lavf58.10.100 $