第8章 基于文本的自然语言分析-【千锋教育】Python快乐编程——数据分析与实战

第8章 基于文本的自然语言分析 基于文本的自然语言处理概述 Jieba基本介绍和使用 NLTK的基本介绍和使用 文本相似度 情感分析 基于文本的自然语言处理概述 Jieba基本介绍和使用 NLTK的基本介绍和使用 文本相似度 情感分析 目 录 CATALOUGUE 初心至善 匠心育人 01 02 04 05 03 了解文本自然语言处理的基本流程 掌握文本相似度分析 掌握Jieba分词工具的使用 掌握NLTK工具的使用 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 自然语言处理是计算机科学与人工智能领域的重要研究方向,主要研究人与计算机通过自然语言沟通的方法。在大数据时代的今天,自然语言处理也相对成熟起来,如翻译软件、智能客服、聊天助手等。自然语言处理在数据分析领域同样有着十分重要的地位,如京东、淘宝通过分析用户对商品的文字评价,得到买家对商品的满意度。学完本章内容,读者将能够通过自然语言分析工具完成一定的工作,对数据分析工作大有裨益。 初心至善 匠心育人 8.1 基于文本的自然语言处理概述 世界上的语言的种类繁多,本章主要介绍中文与英文的自然语言处理。依托于强大的Python 社区,开发者可以借助 Jieba 语言处理库、 NTLK 语言处理库分别对中文、英文进行语言处理。 和所有数据处理一样,在进入正常的数据处理流程之前,都需要进行数据预处理,文本处理也不例外。一般来说,文本预处理包括文本分词、词性标注、词形归一化、删除停用词、单词列表几步。 初心至善 匠心育人 8.1 基于文本的自然语言处理概述 1.文本分词 文本分词是对数据字符串进行切片操作,并使切片结果符合语法的过程。文本分词是文本预处理过程中必不可少的流程,就像在垃圾回收站对废旧垃圾进行处理时,先要对垃圾进行分类。文本预处理过程中的分词动作与垃圾分类动作类似,通过对词语进行不同类别的划分实现分词。本质上看,分词动作就是分类算法在自然语言上的应用。 文本分词主要包含两步:首先是对字典进行构造,以字典作为分词的基本依据;第二步是运行算法。词典构造主要包括基于整词的二分、基于 TRIE 索引树的建立、基于逐字二分等。由于不同语言的表述语法不同,分词算法也不同。中英文分词的常用方法具体如表所示。 初心至善 匠心育人 8.1 基于文本的自然语言处理概述 2.词性标注 词性标注是词语分类的一种方式。词性标注是对分词结果进行词语分类。中文里将词性分为两大类,分别是实词与虚词,共计 14 小类,其中,实词包括名词、代词、动词、形容词、数词、量词、区别词,虚词包括冠词、副词、介词、连词、助词、叹词、拟声词。 初心至善 匠心育人 8.1 基于文本的自然语言处理概述 英文将词性分为 10 种,分别是名词、形容词、动词、代词、数词、副词、介词、连词、冠词、感叹词。 3.词形归一化 词形归一化就是将对应的词语进行数据规整。词形归一化的概念一般出现在英文文本的处理过程中,因为英文单词中同一个词会出现多种不同的形式。例如,be 的形式有 am 、is 、 are ,经过词形归一化后留下的只是 be 的形式。 4.删除停用词 停用词指的是文本中不能表述该对应文本特性的词,一般指的是有“什么”“今”“今后”等,开发者可以查阅说明文件查看对应的停用词。删除停用词可以加快处理文本的速度,降低文本处理的复杂性。 初心至善 匠心育人 8.1 基于文本的自然语言处理概述 5.单词列表 单词列表是文本处理的最后一个环节,简单地说,单词列表就是停用词处理后的结果,通过特定的排序需求进行罗列。 初心至善 匠心育人 8.2 Jieba基本介绍 和使用 初心至善 匠心育人 8.2 Jieba基本介绍和使用 中文分词大多使用 Python 的第三方库 Jieba 作为分词工具,本节将介绍 Jieba 的安装和基本使用。 初心至善 匠心育人 8.2.1 基本介绍 Jieba 分词的开发者为中文作者, GitHub 上的名字为 SunJunyi ,目前就职于北京的百度总部。如果使用者有问题可以通过 sunjunyi01@baidu.com 邮箱联系作者。 Jieba 的存在为中文分词提供了更好的解决方案。 Jieba 分词的三种模式如表所示。 Jieba 同时支持繁体分词、自定义字典、 MIT 授权协议。 Jieba 分词采用的是基于统计的分词方法,利用机器学习的方法,学习分词规律,然后保存好训练模型,从而实现对文本的分词。 Jieba 虽然是比较好的中文分词工具,但是同样具有缺点,如不能识别机构名、特殊名词等。 初心至善 匠心育人 8.2.2 安装 开发者可以使用如下指令,安装 Jieba 分词库。 或使用如下指令。 或者直接下载源文件,解压后输入指