第三单元 我的课外读物-网络爬虫-初中信息技术复习知识点归纳川教版（2019）九年级上册

九年级上册 第三单元 我的课外读物-网络爬虫 一、教材体系同时提取书名和 好评数 保存信息 实现方法 提取书籍的名称 法律规定 案例分析 明确任务 拓展阅读 Python爬虫 访问网页 我的课外读物 爬取网络信息 我的课外读物 -网络爬虫 处理网络信息 爬虫中的法律和道德 二、知识点 1.分析任务要达到的目标。（用python程序把网页的信息获取下来，对信息进行筛选和整理，并且保存下来，再进行简单的处理，最后得到我们想要的信息。这个过程可以概括为获取信息、处理信息、保存信息、使用/分析信息等步骤。） 2.学会将任务分解成小任务并梳理出方法和步骤。（使用requests模块获取信息、使用BeautifulSoup模块处理信息、保存信息至文件、使用pandas模块排序） 3.学会在Python中使用requests模块访问网络，获取信息。（编写代码、运行代码、观察网页源代码，找出标签和关键字、定义字符串） 4. 学会使用BeautifulSoup模块，对获取到的信息进行清理。（用BeautifulSoup模块调用lxml解析器处理网页源代码resTxt，分析出源代码中的标签、数据等，并将处理后的结果赋值给变量resStr。使用BeautifulSoup模块，提取网页中书籍的名称。用class="title"作为关键字，通过select函数来取得所有书籍的名称列表sm） 5. 了解Html标签在使用BeautifulSoup模块时的作用。（使用BeautifulSoup模块从网页中获取到需要的信息，关键在于从Html中找到所需信息的“标签”，通过标签的值，就可以将需要的信息提取出来） 6. 学会字符串合并、替换等简单操作。（使用+号，可以将两个字符串合并在一起。用+号合并字符串时，两个字符串之间是没有间隔的。使用替换命令replace可以将新内容替换原内容） 7. 掌握在Python中使用open函数保存文件，了解常用编码方式UTF-8与GBK。（在Python中，我们通常使用open函数来打开、保存、读取及写入文件。使用open函数打开文件，要注意打开方式的参数：读“r”、写“w”、追加“a”、读文件时要求文件已经存在，写或者追加时，若文件不存在可以自动创建一个新文件。写入文件时要注意，“w”方式会把原来的内容覆盖，"a”方式会把新内容加在原文末尾。UTF-8是全球统一的通用编码，而GBK编码是中文环境中的一种编码，并不通用。） 8. 了解编写爬虫程序可能带来的法律和道德问题。（全国人民代表大会常务委员会在2016年11月7日通过了《中华人民共和国网络安全法》，2017年6月1日正式实施。法律规定：任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息；爬取数据过程中不应侵犯他人的知识产权。我们在编写爬虫程序时，一定要遵守相关道德准则和法律法规。） 9. 了解并遵守爬虫道德规范。 练习题 一、单选题 1、用Python爬虫编程实现访问网页、获取网页内容需要用到（ ）模块。 A．requests模块 B．BeautifulSoup模块 C．matplotlib模块 D．pandas模块 【答案】A 【解析】用Python爬虫编程实现访问网页、获取网页内容需要用到requests模块（见课本79页）。因此选项A正确。 2、用Python爬虫编程实现筛选信息、整理信息需要用到（ ）模块。 A．requests模块 B．BeautifulSoup模块 C．matplotlib模块 D．pandas模块 【答案】B 【解析】用Python爬虫编程实现筛选信息、整理信息需要用到BeautifulSoup模块（见课本79页）。因此选项B正确。 3、用Python爬虫编程实现使用、分析信息需要用到（ ）模块。 A．requests模块 B．BeautifulSoup模块 C．matplotlib模块 D．pandas模块 【答案】D 【解析】用Python爬虫编程实现使用、分析信息需要用到pandas模块（见课本79页）。因此选项D正确。 4、运行下面代码， stra="这是个苹果" print(stra.replace('苹果','桃子')) print(stra.replace('西瓜','桃子')) 会出现（ ）。 A．苹果替换成了桃子 B．西瓜替换成了桃子 C．苹果没有替换成了桃子 D．苹果替换成了西瓜 【答案】A 【解析】第一个 replace语句将苹果替换成了桃子，而第二个语句中，因为字符串stra中没有“西瓜”，所以替换不成功，返回原字符串。因此选项A正确（见课本第88页）。 5、运行下面代码， print(stra+strc) 会出现（