4.2.3文本数据处理 课件—2021-2022学年浙教版（2019）高中信息技术必修1

文本数据处理 1 百度搜索：信息技术难不难？ 文 本 数 据 处 理 文本数据处理的应用 搜索引擎 情报分析 自动摘要、自动校对 论文查重、文本分类 垃圾邮件过滤 机器翻译 自动应答 论文查重 垃圾邮件过滤 文本数据处理的主要目的是从大规模的文本数据中提取出符合需求的、感兴趣的和隐藏的信息。 文本数据源 分词 特征提取 数据分析 结果呈现 非结构化数据：各类的办公文档、文本、图片、XML、HTML、各类报表、图像、音频、视频 无结构的文本 结构化：行数据，二维表结构，遵循数据格式与长度规范 结构化、便于计算机处理 古代小故事 有位书生到亲戚家串门，顷刻间外面就下起雨来，这时天已将晚，他只得打算住下来。但这位亲戚却不乐意，于是就在纸上写了一句话：下雨天留客天留人不留。 书生看了，即刻明白亲戚的意思，却又不好明说，就心想一不做、二不休，干脆加了几个标点：下雨天，留客天，留人不？留！亲戚一看，这句话的意思完全反了。也就无话可说，只好给书生安排了住宿。 下雨天留客天留人不留 下雨天留客，天留人不留 下雨天，留客天，留人不？留！ 这幅对联是什么意思？ 人多病少财富 养猪大如山老鼠头头死 酿酒缸缸好造醋坛坛酸 为富不仁的老财主请教书先生为酒店写对联 中文分词 分词是将连续的字序列按照一定的规范重新组合成词序列的过程。 1、基于词典的分词方法 根据设定好的词典进行分词 2、基于统计的分词方法 依据上下文中相邻字出现的频率统计 3、基于规则的分词方法 模拟人的思维，根据资料和规则进行学习分词。（尚在探索） 一般采用词典法和统计法两者结合 常见的分词系统 jieba分词 IKAnalyzer NLPIR 语言云 BosonNLP jieba实例 cut() lcut() jieba实例 全模式 把所有可以成词的找出来,速度非常快 特征项 中文文本可以采用字、词或短语作为表示文本的特征项。 相比较而言词的切分难度小且更能表达文本含义。 目前，大多数中文文本分析中都采用词作为特征项，这种词称作特征词。 特征项能够表达该文章的信息，区分文章的不同 通常可以直接用分词算法和词频统计得出的结果作为特征词，但若文本很大，特征词会很多，用特征提取效率更高 特征提取的方式 1、根据专家的知识挑选有价值的特征 2、用数学建模的方法构造评估函数自动选取 目前大多数采用基于概率统计的构造评估函数方法进行